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丛书 厚 言 


MAILAB 一 词 是 Matrix Laboratory 〈 定 阵 实 验 室 ) 的 缩写 。20 世纪 70 年 代 后 期 ， 时 任 美 
国 新 墨西哥 大 学 计算 机 科学 系 主 任 的 Cleve Moler 教授 为 减轻 学 生 编 程 负担 ， 为 学 生 设 计 了 一 
组 调用 LINPACKE 和 EISPACK 库 程 序 的 “通俗 易 用 ”的 接口 ， 此 即 用 Fortran 编写 的 萌芽 状态 
的 MAITLAB。 此 后 ，MATLAB 软件 的 功能 便 不 断 得 到 丰富 和 发 展 。 

在 欧 于 大 学 里 ， 诸 如 应 用 代数 、 数 理 统计 、 目 动 控 制 、 数 字 信 号 处 理 、 模 拟 与 数字 通信 、 
时 间 序 列 分 析 、 动 态 系统 仿真 等 读 程 的 教科 书 把 MATLAB 作为 一 项 重要 学 习 内 容 。 这 几乎 成 
了 20 世纪 90 年 代 以 后 教科 书 与 日 厂 书 籍 的 区 列 性 标志 。 

在 国际 学 术 界 ，MATLAB 已 经 被 确认 为 准确 、 可 靠 的 科学 计算 标准 软件 。MATLAB 将 数 
值 分 析 、 和 矩阵 运算 、 信 号 处 理 、 图 形 功能 和 系统 仿真 融 为 一 体 ， 使 用 户 在 易学 易 用 的 环境 中 求 
解 问题 ， 如 同 书写 数 学 公式 一样， 避免 了 传统 的 复杂 专业 编程 。 

本 套 丛 忆 是 编 委 会 经 过 对 多 所 高 等 院 校 和 知名 企业 进行 调研 , 在 与 各 高 校 教师 和 数 十 位 不 
同 领域 工程 师 广泛 交流 的 基础 上 编号 的 。 编 委 会 成 员 都 是 来 目 计 算 机 教学 的 一 线 教师 和 就 职 于 
各 知名 企业 的 工程 师 ， 上 共有 非 痢 丰富 的 教学 和 实践 经 验 。 

本 套 从 书 是 以 MATLAB R 2008 为 平台 来 讲解 各 学 科 知 识 的 ， 它 也 适合 其 他 MATLAB 版 
本 ， 上 有 具有 如 下 主要 特点 : 

(1) 突出 技术 ， 全 面 针 对 实际 应 用 。 在 选材 上 上， 根据 实 际 应 用 的 需要 ， 坚 决 舍 大 现 在 用 
不 上 、 将 来 也 用 不 上 的 内 容 。 在 保证 学 科 体 系 完 整 的 基础 上 不 过 度 踢 幸 理 论 的 深度 和 难度 ， 注 
重 应 用 型 人 才 的 专业 技术 和 工程 实用 技术 的 培养 。 此 系列 丛书 从 内 容 上 讲 ， 路 度 较 大 ， 从 
MATLAB 在 基础 层面 的 应 用 到 专业 工具 箱 的 高 层次 的 应 用 ， 这 样 不 仅 满 在 不 同 领域 和 不 同 层 
次 读者 的 需要 ， 还 使 读者 可 以 根据 目 己 的 水 平和 目 主 选用 。 

《2) 本 套 从 书 采 用 “任务 驱动 ”的 编号 方 芭 ， 有 米 取 “提出 问题 一 一 介绍 解决 问题 的 方法 
一 一 归纳 总 结 ， 培 养 寻找 答案 的 思维 方法 ”的 模式 。 以 实际 问题 引导 出 相关 的 原理 和 概 剑 ， 在 
讲述 实例 的 过 程 中 将 知识 点 融入 ， 通 过 分 析 归 纳 ， 介 绍 解决 工程 实际 问题 的 思想 和 方法 ， 最 后 
进行 概括 总 结 ， 使 书 中 内 容 层次 清晰 ， 脉 络 分 明 ， 可 读 性 和 操作 性 蝇 。 同 时 引入 案例 尝 习 和 局 
发 式 学 习 方法 ， 便 于 激发 学 习 兴 

(3) 内 容 安排 上 力求 由 浅 入 深 ， 循 序 渐 进 ; 表述 清晰 ， 通 丛 易 全 :讲求 效率 ， 和 内 容 经 过 
多 次 提炼 和 升华 ， 突 出 规律 和 学 习 技 巧 ， 是 思维 化 的 直接 体现 。 

(4) 充分 体现 案例 学 习 模 式 。 在 本 系列 丛书 中 读者 会 发 现 ， 凡 是 讲解 一 个 问题 都 以 一 个 
案例 为 主线 进行 亩 述 ， 这 是 本 系列 丛书 作者 多 年 来 在 教学 第 一 线 的 经 验 总 结 。 案 例 学 习 引 人 入 
胜 ， 易 理解 ， 易 掌握 ， 能 使 读者 举一反三 ， 技 术 掌 握 扎 实 。 

我 们 力争 使 这 套 丛 书 在 可 读 性 、 指 导 性 和 实用 性 上 达到 最 优 : 但 肯 会 有 不 尽 人 意 之 处 ， 茂 
挚 接 受 广 大 读者 的 批评 、 指 正 。 同 时 也 希望 与 读者 在 本 套 丛 书 的 学 习 、 应 用 上 相互 交流 ， 来 信 
可 发 住 zhangdf@foshan.net。 


编 人 魏 会 
2009 年 3 月 


TI 言 


MATLAB 元 MathWorks 公司 推出 的 一 黎 忆 性 能 的 数值 计算 和 可 视 化 软件 ， 它 的 推出 得 到 
了 和 个 领域 专家 学 者 的 广泛 关注 ， 其 强大 的 扩展 功能 为 用 户 提供 了 强 有 力 的 支持 ; 它 集 数 学 运 
算 、 图 形 绘制 、 语 言 设 计 和 神经 网 络 等 30 多 个 工具 箱 于 一 体 ， 具 有 极 高 的 编程 效率 。 

快速 及 展 的 MATLAB 软件 为 神经 网 络 理论 的 实现 提供 了 一 种 便利 的 仿真 手段 。MATLABR 
伸 经 网 络 工具 箱 的 出 现 ， 更 加 拓宽 了 神经 网 络 的 应 用 空间 。 神 经 网 络 工具 箱 将 很 多 原本 需要 手 
动 计 算 的 工作 交 给 计算 机 ,一 方面 提高 了 工作 效率 ; 另 一 方面 , 还 提高 了 计算 的 准确 度 和 精度 ， 
减轻 了 工程 人 员 的 负担 。 

本 书 使 用 MATLAB 神经 网 络 工具 箱 作 为 开发 平台 , 以 神经 网 络 理论 为 基础 ,利用 MATLAB 
脚本 语言 构造 出 典型 神经 网 络 的 激活 函数 ， 如 线性 、 竞 争 性 和 饱和 线性 等 激活 函数 ， 使 设计 者 
对 所 选 定 网 络 输出 的 计算 变 成 对 激活 函数 的 调用 。 另外 , 根据 各 种 典型 的 修正 网 络 权 值 的 规则 ， 
再 加 上 网 络 的 训练 过 程 ， 利 用 MATLAB 编写 出 各 种 网 络 设 计 和 训练 的 子 程序 ， 网 络 设计 人 员 
可 以 根据 目 己 的 需要 去 调用 工具 箱 中 有 关 的 设计 和 训练 程序 ， 将 目 己 从 烦琐 的 编程 中 解脱 出 
来 ， 集 中 精力 解决 其 他 问题 ， 从 而 提高 了 工作 效率 。 

最 新 版 本 的 神经 网 络 工具 箱 几 乎 涵 番 了 所 有 的 神经 网 络 的 基本 和 常用 模型 ， 如 感知 器 和 BP 
网 络 等 。 对 于 各 种 不 同 的 网 络 模型 ， 神 经 网 络 工具 箱 集 成 了 多 种 学 习 算 法 ， 为 用 户 提 供 了 极 大 
的 方便 。 画 外 ， 该 工具 箱 中 还 包含 了 大 量 的 演示 实例 ， 有 助 于 初学 者 加 深 理 解 。 

1982 年 ，Hopfield 用 能 量 了 图 数 的 思想 形成 了 一 种 新 的 计算 方法 ， 该 计算 方法 由 含有 对 称 
完 触 连接 的 反馈 网 络 执行 。 而 且 他 还 将 该 反馈 网 络 同 用 于 统计 物理 的 Ising 模型 相 类 推 ， 这 
种 闫 推 为 大 量 的 物理 学 理论 和 许多 的 物理 学 家 进入 神经 网 络 领 域 铺 平 了 道路 。Hopfield 前 明 
了 NN 与 动力 学 的 关系 ， 并 用 非 线性 动力 学 的 方法 来 研究 这 种 NN 的 特性 ， 建 这 了 NN 稳定 
性 判 据 ， 并 指出 信息 存储 在 网 络 中 NN 之 间 的 连接 上 ， 形 成 了 Hopfield 网 络 。 这 是 NN 研究 
的 突破 性 进展 。 

此 后 ， 神 经 网 络 领域 的 研究 有 了 新 发 展 ， 在 20 世纪 的 最 后 10 年 ,产生 了 大 量 关 于 神经 网 
络 的 论文 ， 并 在 许多 领域 应 用 了 神经 网 络 技术 ， 新 的 理论 和 实践 工作 层出不穷 ，20 世纪 90 年 
代 初 始 ，Vapnik 和 合作 者 发 明了 一 类 计算 功能 强大 的 导师 学 习 网 络 ， 用 于 解雇 模式 识别 、 回 归 
及 密度 估 测 问题 ， 这 种 网 络 被 称 为 文 持 癌 量 机 〈Support Vector Machines，SVM)， 以 有 限 样 本 
学 习 理 论 的 结论 为 基础 。 文 持 回 量 机 的 新 特征 在 于 Vapnik-Chervonenkis (VC) 维特 征 强 含 在 
回 量 机 的 设计 中 ，VC 维 数 为 衡量 神经 网 络 样本 学 习 能 力 提 供 了 一 种 有 效 的 量度 。 上 总 之 ， 以 
Hopfield 教授 1982 年 发 表 的 论文 为 标 关 ， 掀 起 了 神经 网 络 的 研究 热 测 。 

本 书 共 分 10 章 。 其 中 第 1 章 是 神经 网 络 的 绪论 ， 介 绍 了 神经 网 络 的 上 友 展 历程 、 神 经 网 络 
模型 、 人 工 神经 网 络 的 分 类 等 内 容 ; 第 2 章 是 MATLAB 语言 及 神经 元 ， 介 绍 了 MATLABE 的 语 
言 特 点 、MATLAB 神经 网 络 工具 箱 、MATLAB 神经 网 络 工 具 箱 的 对 象 与 属性 等 内 容 : 第 3 章 
是 神经 网 络 工 具 箱 函数 的 分 析 及 实例 ， 介 绍 了 神经 网 络 的 应 用 函数 、 神 经 网 络 的 输入 函数 及 其 
导 毅 数 等 内 容 ; 第 4 章 是 前 向 型 神经 网 络 及 MATLAB 应 用 举例 ， 介 绍 了 感知 器 、 线 性 神经 网 


络 、BP 网 络 、 径 回 基 网 络 、GMDH 网 络 等 内 容 ; 第 5 章 是 目 组 织 神 经 网 络 及 MATLAB 程序 ， 
介绍 了 目 组 织 竞 争 型 神经 网 络 、 目 组 织 特征 映射 神经 网 络 、 目 适应 共振 理论 模型 、 对 问 传 播 网 
络 等 内 容 ; 第 6 章 是 反馈 神经 网 络 及 其 应 用 ,介绍 了 Elman 神经 网 络 及 MATLAB 程序 .Hopfield 
网 络 及 MATLAB 程序 等 内 容 ; 第 7 章 是 向 形 用 户 接 口 ， 介 绍 了 图 形 用 户 界 面 、 图 形 用 户 应 用 、 
数据 的 存储 和 读 取 等 内 容 ; 第 8 章 是 Simulink, 介绍 了 Simulink 交互 式 仿真 集成 环境 、Simulink 
的 基本 模块 、Simulink 的 命令 行 仿真 技术 、Simulink 应 用 实例 等 内 容 ; 第 9 章 是 上 自 定 义 神 经 网 
络 ， 介 绍 了 自 定 义 神 经 网 络 、 自 定义 神经 网 络 的 初始 化 、 训 练 与 仿真 等 内 容 : 第 10 章 是 神经 
网 络 的 应 用 ， 介 绍 了 线性 神经 网 络 在 线性 预测 中 的 应 用 、 神 经 模糊 控制 在 洗衣 机 中 的 应 用 、 模 
糊 神 经 网 络 在 配送 中 心 选 址 中 的 应 用 等 内 容 。 

本 书 可 作为 高 等 院 校 计算 机 、 电 子 工程 、 控 制 工 程 、 信 息 与 通信 科学 、 数 学 、 机 械 工 程 和 
生物 医学 工程 等 专业 学 生 的 参考 教材 ， 对 从 事 上 述 领 域 工 作 的 广大 科技 人 员 具 有 重要 的 参考 价 
值 ， 对 学 习 神 经 网 络 及 其 仿真 技术 的 读者 来 说 ， 也 是 一 本 极为 有 用 的 入 门 指导 书 。 

由 于 时 间 仓 促 、 作 者 水 平和 经 验 有 限 ， 书 中 错漏 之 处 在 所 难免 ， 和 敬 请 读 肴 指正。 
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1.1 人工 神经 网 络 的 介绍 


在 你 阅读 本 书 时 ， 你 正在 用 到 一 个 复杂 的 生物 神经 网 络 ， 大 约 有 10 个 相互 连接 的 神经 元 
帮助 你 进行 阅读 、 呼 吸 、 思 关 ， 完 成 各 种 动作 ， 部 分 神经 网 络 的 结构 和 功能 是 与 生 有 共有 的 ， 比 
如 支配 呼吸 、 氏 、 史 吸 等 本 能 动作 的 功能 ， 而 大 多 数 的 功能 则 需要 通过 后 天 的 学 习 才 能 获得 。 

虽然 人 们 还 并 不 完全 清楚 生物 昼 经 网 络 是 如 何 进行 工作 的 ， 但 弥 想 构造 一 些 “ 和 工 神 经 
元 ”， 进 而 将 它们 以 某 种 方式 连接 起 来 ， 可 以 模拟 “人 脑 ” 的 茶 些 功能 。 


1.2 ”神经 网 络 的 友 展 历程 


人 工 神经 网 络 这 项 研究 始 于 20 世纪 40 年 代 ， 它 的 用 展 经 历 了 起 始 、 瑚 条 和 兴盛 三 个 
阶段 。 


1.2.1 ”神经 网 络 的 起 始 


1943 年 ， 精 神 病 学 家 和 神经 解剖 学 家 McCulloch 与 数学 家 Pitts 在 数学 生物 物理 学 会 期 刊 
《Bulletin of Mathematical Biophysics》 上 发 表 文 章 ， 总 结 了 生物 神经 元 的 一 些 基 本 生理 特征 ， 壳 
出 了 形式 神经 元 的 数学 描述 与 结构 ， 即 MP 模型 。McCulloch 和 Pitts 描述 了 一 个 逻辑 微 积分 的 
神经 网 络 ， 这 个 网 络 由 神经 生理 学 和 数学 逻辑 学 组 成 ， 他 们 定义 的 神经 元 的 正规 模型 和 佣 认 为 赴 
循 着 “全 或 无 ”法 则 。MecCulloch 和 Pitts 证 明 :， 原则 上 ， 在 拥有 了 数量 众多 的 简单 单元 和 适当 
的 神经 元 连接 且 运 行 同步 的 情况 下 ， 所 构建 的 网 络 能 计算 任何 可 计算 的 函数 。MP 的 提出 兴起 
了 NN 研究 ， 同 时 产生 了 人 工 智 能 〈Artificial Intelligence，AI) 这 一 学 科 。 

1948 年 ，Wiener 所 洒 的 著名 的 《Cybernetics》 一 书 出 版 ， 提 出 了 控制 、 通 信和 统计 依 所 处 
理 的 重要 概念 ， 在 学 科 之 间 抓 住 了 统计 方法 的 物理 意义 。 

19495 年 ， 生 理学 家 D.O.Hebb 出 版 了 《The Oreanization of Behavior》 一 书 。 访 书 第 一 次 鲜 
明 地 提出 了 改变 神经 元 连接 强度 的 Hebb 规则 , 特别 是 Hebb 提出 脑 中 互 连 信息 随 痢 感官 学 习 任 
务 的 不 同 而 不 断 变化 ， 这 种 变化 产生 了 神经 集合 。 他 认为 学 习 过 程 是 在 突 触 〈《Synapse) 上 有 友 生 
的 ， 突 触 的 连接 强度 随 其 前 后 神经 元 的 活动 而 变化 。 根 据 这 一 假设 提出 的 学 习 规 则 为 第 经 网 络 
的 学 习 算 法 商定 了 基础 ， 使 神经 网 络 的 研究 进入 了 一 个 重要 的 发 展 阶段 。 | 
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1952 年 ，Ashby 所 著 的 《Design for a Brain:The Origins of Adaptive Behavior》 一 书 出 版 。 书  ， 
由 论述 了 “ 自 适应 行为 不 是 天 生 的 ， 而 是 学 习 的 结果 ”这 一 基本 概念 , 而 且 通 过 对 动物 行为 ( 系 ” 


统 )》 的 学 习 会 有 更 好 的 改变 ， 书 中 还 强调 了 类 似 机 器 的 生物 动态 和 相关 的 稳定 性 概念 。 
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1954 年 ，Minsky 在 Princeton 大 学 氛 写 了 一 篇 题 为 《Theory of Neural-Analog Reinforcement 2 


Systems and Its Application to the Brain-Model Problem》 的 神经 网 络 博士 论文 。1961 年 ， Minsky ， 


人 


写 了 一 篇 关于 早期 人 工 智 能 的 优秀 论文 ， 题 为 《Steps Toward Artificial Intelligence》， 论 文 的 
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半 部 包含 了 当今 神经 网 络 的 大 部 分 内 容 ; 1976 年 , Minsky 出 版 了 《Computation:Rinite and Infinite 
Machines》 一 书 ， 该 书 清 晰 地 扩展 了 McCulloch 和 Pitts 1943 年 的 碟 果 ， 并 将 其 归 入 自动 机 和 计 
算 理 论 中 。 

1954 年 ， 通 信 理 论 的 先 驰 和 全 照 相 术 的 上 友 明 者 Gabor 提出 了 非 线性 目 运 应 滤波 思想 ， 他 
视 望 与 合作 者 一 起 发 明 -一 种 机 器 ， 通 过 将 一 个 随机 过 程 的 样本 输入 机 器 中 ， 连 同 目标 函数 ， 实 
现 机 规 和 尝 习 。 

Von Neumann 是 20 出 纪 前 半 叶 科学 领域 中 最 伟大 的 人 物 之 一 ,数学 计算 机 的 基础 设计 了 屿 是 
以 他 的 名 字 命 名 的 。 早 在 1949 年 ，Von Neumann 在 Ilinois 大 学 四 次 讲座 的 第 二 次 讲座 中 ， 前 
述 了 McCulloch、Pitts 证 实 的 神经 网 络 理论 特点 。195S 年 ， 他 应 邀 去 Yale 大 学 进行 Silliman 讲 
座 ， 直 至 19$6 年 〈 他 死 于 1957 年 )。 他 未 完成 的 Siliman 讲座 的 手稿 于 1958 年 作为 一 本 书 出 
和 版， 书 名 为 《The Computer and the Brain》， 此 书 由 于 涉及 了 Von Neumann 生前 所 做 的 工作 和 他 
注意 的 人 脑 与 计算 机 的 巨大 差异 ， 因 而 备 受 关注 。 些 外 ，1956 年 Von Neumann 用 约 简 的 思想 解 
决 了 一 个 在 神经 网 络 中 特别 令 人 关注 的 问题 ， 这 束 是 如 何 用 认为 是 不 可 靠 的 神经 元 来 设计 一 个 
可 靠 的 网 络 的 问题 。 

19$7 年 ，Rosenblatt 提出 了 感知 器 〈Perceptron ) 的 概念 。195S8 年 Rosenblatt 基于 对 感知 器 
的 研究 ， 提 出 了 解雇 模式 识别 问题 的 新 监督 学 习 方法 ， 并 证 明了 所 谓 的 感知 器 收 系 定理， 首次 
把 神经 网 络 的 研究 付 诸 工程 实践 。 这 是 一 种 学 习 和 目 组 织 的 心理 学 模型 ， 它 基本 上 符合 神经 生 
理学 的 理论 ， 横 型 的 学 习 环境 是 有 噪声 的 ， 网 络 构造 中 存在 随机 和 连接， 这 是 人 符合 动物 学 习 的 目 
然 环 境 的 。 这 种 类型 的 机 器 显然 有 可 能 应 用 于 模式 识别 〈Pattern Recognition )、 联 想 记 忆 
(Associative Memory ) 等 方面 。 

1960 年 ，Widrow 和 Ho 任 引 入 了 最 小 均 方 莽 (Least Mean-Square, LMS ) 算法 ， 并 用 它 系 统 
地 阐明 了 自 适 应 线性 元 件 (Adaptive Linear Element)。 感 知 器 和 自 适 应 线性 元 件 之 间 的 差异 在 
于 训练 过 程 ， 最 早出 现 的 包含 多 适应 元 件 的 可 训练 分 层 神 经 网 络 是 多 学 习 机 绪 构 ， 这 种 结构 由 
Widrow 和 他 的 学 生 在 1962 年 提出 。 

1965 年 ，Nilsson 所 著 的 《Learning Machines》 一 书 出 版 ， 至 今 这 本 书 仍 然 是 关于 超 平 面 中 
线性 模型 的 佳作 。 

1967 年 ，Amari 用 推测 梯度 方式 进行 目 适 应 模 陈 分 类 。 

在 感知 器 盛行 的 20 世纪 60 年 代 ， 人 们 对 神经 网 络 的 研究 过 于 乐观 ， 认 为 只 要 将 这 种 NN 
了 和 连 成 - -个 网 络 ， 就 可 以 解决 人 脑 思维 的 模拟 问题 。 因 此 ， 当 时 有 上 百 家 实 验 军 纷纷 投入 这 项 
研究 ,美国 军 方 也 投入 了 巨额 资金 , 当时 NN 在 声呐 信号 识别 等 领域 的 应 用 取得 了 一 定 的 成 绩 。 

1969 年 ，Minsky 和 Papert 所 著 的 《Perceptron》 一- 书 出 版 ， 该 书 从 数学 角度 证 明了 关于 单 
层 感知 器 的 计算 具有 根本 的 局 限 性 ， 指 出 感知 器 的 处 理 能 力 有 限 ， 甚 至 连 异 或 这 样 的 问题 也 不 
能 解决 ， 并 在 多 层 感 知 器 的 总 结 一 章 中 ， 论 述 了 单 层 感知 器 的 所 有 局 限 性 在 多 层 感 知 器 中 是 不 
可 能 被 全 部 克服 的 。 当 时 人 工 智能 的 以 功能 模拟 为 目标 的 玖 一 分 区 出 现 了 转机 ， 产 生 了 以 知识 
信息 处 理 为 基础 的 知识 工程 (Knowledge Engineering)， 给 人 工 智 能 从 实验 室 走 加 实用 市 来 了 斋 
望 。 同 时 ， 随 着 微 电 子 技 术 的 进步 ， 以 及 传统 的 Von Neumann 型 数学 计算 机 的 发 展 ， 使 整个 学 
术 界 陶醉 于 数学 计算 机 的 成 功 之 中 ， 从 而 使 NN 的 研究 进入 了 乔 条 时 期 。 


1.2.2 ”神经 网 络 的 前 条 
根据 Cowan 1990 年 提出 的 观点 ， 有 三 个 原因 导致 了 神经 网 络 研 究 的 十 多 年 俘 池 。 怕 因 之 
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一 是 技 术 上 的 一 一 没有 个 人 计算 机 和 工作 站 进行 实验 ,如 Gabor 发 展 了 他 的 非 线 性 学 习 滤 波 


和 十 ， 却 化 爱 了 舍 外 的 六 年 时 间 建 造 了 含有 类 推 装置 的 滤波 器 ; 原因 之 二 一 半 是 心理 上 的 ， 
届 Minsky 和 Papert 对 感知 璐 的 碍 观 结论 ， 一 半 是 资金 上 的 ， 即 没有 代理 商 资助 ; 原因 之 三 
征 利 经 网 络 和 品格 旋转 之 间 的 尖 推 还 未 成 熟 ， 直 至 1975 年 才 由 Sherrington 和 Kirkpartrick 
创建 出 诈 转 错 片 模型 。 

这 至 因素 导致 了 20 世纪 70 年 代 对 神经 网 络 的 研究 陷入 了 低谷 ， 此 时 许多 研究 人 员 放 弃 了 
际 心 理学 和 神经 学 之 外 的 其 他 领域 的 研究 。 

难 能 可 贯 的 是 ， 在 此 期 间 ， 仍 有 不 少 学 者 在 极端 艰难 的 条 件 下 ， 保 持 对 神经 网 络 的 信奉 ， 
致力 于 这 一 研 究 。 

1972 年 Teuvo 玉 ohonen 和 James Anderson 各 目 独 立 友 展 了 用 于 记忆 的 狐 神 经 网 络 。Amari 
独 联 提出 了 一 个 神经 元 的 附加 模型 ， 并 将 其 应 用 于 研究 随机 连接 类 似 于 神经 元 元 件 的 动态 行为 
乙 中 。Wilson 和 Cowan 从 含有 兴 否 和 抑制 神经 元 宇 闻 局 部 化 模型 的 动态 行为 中 多 取 非 线性 微分 
方 枉 组 。 

1976 年 Willshaw 和 Malsburg 友 表 了 第 一 遍 受 人 脑 拓 扑 次 序 映 射 局 及， 构筑 目 组 织 映 射 的 
论文 。 

1977 年 Anderson 、Silverstein、Ritz 和 Jones 八 出 了 头 箱 脑 状 态 (Brain-State-in-a-Box, BSB ) 
模型 ， 其 中 包括 含有 非 线 性 动力 的 一 个 和 单 联想 网 络 。 

1980 年 Grosserg 在 早期 对 鄞 争 学 习 研 究 的 基础 上 ， 人 创立 了 目 组 织 新 理论 ， 被 称 为 目 适 应 性 
谐振 理论 (Adaptive Resonance Theory，ART7， 该 理论 包括 目下 而 上 的 认 知 层 和 目 上 而 下 的 生成 
层 ， 若 输入 模式 与 学 习 反 馈 模 式 相 匹配 ， 则 产生 称 为 “ 目 适 应 性 谐振 ”的 动力 状态 〈 即 神经 网 络 
的 扩大 与 延长 )， 其 前 向 /后 同 投影 凰 理 已 经 被 其 他 学 者 应 用 于 不 同方 面 ， 并 使 其 得 到 了 友 展 。 

由 于 新 思想 的 缺乏 和 用 于 实验 的 高 性 能 计算 机 的 短缺 ， 寻 致 了 20 世纪 60 年 代 后 期 神经 网 
络 研 究 的 停滞 不 前 ， 到 了 20 世纪 80 和 年代， 上述 难关 区 人 科 攻克， 神经 网 络 有 了 迅 独 友 展 ， 功 能 
日 渐 强 大 的 个 人 计算 机 和 工作 站 开始 被 广泛 应 用 ， 此 时 也 产生 了 神经 网 络 研 究 的 新 观念 。 

使 神经 网 络 重 新 焕发 生机 的 鼠 因 ， 主 要 有 了 两 个 ， 第 一 个 是 利用 统计 机 制 解释 循环 网 络 
的 运行 过 程 ， 这 种 机 制 可 用 于 联想 记忆 ， 此 观念 是 由 物理 学 家 John Hopfield 在 他 的 核心 论 
文中 近 出 的 。 

20 世纪 80 年 代 的 第 二 个 核心 发 展 是 用 于 训练 多 层 感 知 器 的 反 辐 传播 算 法， 此 算法 同时 角 
几 个 学 者 所 发 现 , 其 中 影响 最 大 并 广泛 传播 的 是 由 David Rumelhart 和 Janmaes McClelland 提出 的 
算法 ， 该 算法 是 对 20 世纪 60 年 代 Minsky 和 Papert 的 批判 的 一 个 有 力 回 答 。 

另外 ，20 世纪 70 年 代 后 期 出 现 以 下 情况 : 

(1) 研究 视 、 听 和 觉 的 人 工 智能 专家 认为 计算 机 一 般 不 能 从 现实 世界 的 实例 与 现 角 中 钨 取 并 
总 结 出 知识 ， 也 就 是 说 计算 机 不 具备 学 习 能 力 。 于 是 人 们 开始 意识 到 了 Von Neumann 体系 结构 
的 局 限 性 ， 转 而 研究 数据 流 机 和 并 行 计算 机 体系 结构 。 

(2) 日 本 的 第 五 代 计 算 机 计划 远 未 达到 预想 水 平 ， 使 人 们 党 得 有 必要 和 弄 清 楚 人 们 习 以 为 间 
的 认 知 功能 是 如 何 进 行 的 ， 这 些 认 知 功能 包括 视听 沉 感 知 、 学 习 记 忆 、 运 行 控 制 等 ， 从 而 使 人 
们 认识 到 必须 开拓 新 的 思路 ， 探 索 新 的 实现 途径 一 一 与 人 脑 的 生理 组 织 更 为 接近 的 NN 模型 目 
然 成 为 理想 的 候选 模型 。 

(3) 在 人 类 智能 行为 研究 方面 ， 神 经 生理 学 家 、 心 理学 家 和 计算 机 科学 家 相互 结合 ， 认 为 


人 脑 是 一 个 功能 十 分 强大 、 结 构 异 常 复杂 的 信息 系统 ， 但 其 基本 仍 是 神经 元 及 其 之 间 的 连接 。 
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(4) NN 的 全 完 依靠 众多 学 科 的 共同 友 展 ， 是 多 学 村 的 综合 产物 。 而 当时 许多 学 科 都 有 了 
相应 的 发 展 ， 如 阅 里 吉 津 〈Prigogine) 提出 了 非 平 稳 系 统 的 目 组 织 理论 ， 获 诺 贝 尔 奖 ; 哈 肯 
(Haken) 研究 了 大 量 单元 集团 运动 而 产生 的 宏观 效果 ; 非 线 性 系统 “混沌 ” 态 的 提出 及 其 研究 ， 
等 等 。 这 些 都 是 研究 如 何 通过 单元 之 间 的 相互 连接 作用 建立 复杂 系统 ， 类 似 于 生物 系统 的 自 组 
织 行 为 。 

(0S$) 脑 科 学 与 神经 科学 的 研究 成 果 ， 迅 速 反 映 到 神经 网 络 的 改进 上 ， 例 如 视觉 研究 中 发 现 
的 侧 抑制 忆 理 、 感 受 野 的 概念 , 听 党 通道 上 神经 元 的 目 组 织 排列 等 .生物 的 NN 研究 成 果 对 ANN 
的 研究 起 了 重要 的 推动 作用 。 

所 有 这 些 重 新 引起 了 人 们 对 ANN 的 研究 兴趣 。 


1.2.3 ”神经 网 络 兴 


学 术 界 公认 , 标 坊 NN 研究 高 潮 的 又 一 钦 到 来 是 美国 加 州 理 工学 院 生物 物理 学 家 JJHopfield 
教授 于 1982 年 和 1984 年 发 表 在 美国 科学 院 院 刊 上 的 两 入 文革 以 及 1986 年 Rumelhart 与 
MecClelland 的 北 作 。 

1982 人 年，Hopfield 用 能 量 函 数 的 思想 形成 了 一 种 新 的 计算 方法 ， 该 计算 方法 由 含有 对 
称 突 触 连 接 的 反馈 网 络 执行 ， 而 且 他 还 将 该 反 饥 网 络 同 用 于 统计 物理 的 Ising 模型 相 类 推 ， 
这 种 类 推 为 大 量 的 物理 学 理论 和 许多 的 物理 学 家 进入 神经 网 络 领 域 铺 平 了 道路 .Hopfield 前 
明了 NN 与 动力 学 的 关系 ， 并 用 非 线 性 动力 学 的 方法 来 研究 这 种 NN 的 特性 ,建立 了 NN 稳 
定性 判 搞 ， 并 指出 信息 存储 在 网 络 中 NN 之 轩 的 连接 上 ， 形 成 了 Hopfield 网 络 。 这 是 NN 研 

1982 年 ， 态 一 个 重要 的 发 展 是 Kohonen 的 关于 目 组 织 图 的 论文 友 表 ， 其 中 用 到 了 一 个 一 维 
或 二 维 的 晶体 结构 ， 这 种 模型 已 成 为 衡量 在 此 领域 中 有 价值 创新 的 基准 。 

1983 年 ，Kirkpatrick、Gelatt 和 Vecchi 提出 了 模拟 退火 〈Simulated Annealing, SA) 的 新 方 
和 法 ， 访 方法 以 统计 理论 为 基础 ， 用 于 解 次 组 合 最 优 上 问题。 

1983 年 ，Barto、Snutton 和 Anderson 及 表 了 关于 量化 和 学习 〈Reinforcement Learning, REL) 的 
论文 ， 虽 然 他 们 不 是 第 一 个 提出 强化 学习 思 想 的 人 《如 Minsky 在 19S4 年 的 博士 论文 中 束 有 提 
及 )， 但 这 篇 论文 将 强化 学 习 应 用 于 实际 ， 验 证 了 其 应 用 有 可 行 性 ， 对 强化 学 习 的 发 展 及 应 用 
产生 了 重要 的 影 啊 。 

1984 年 ，Hopfield 设计 与 研制 了 他 所 提出 的 神经 网 络 模型 的 电路 ， 指 出 神经 元 可 以 用 运算 
放大 器 来 实现 ， 所 有 神经 元 的 连接 可 用 电子 线路 来 模拟 。 同 时 ， 他 们 进行 了 神经 网 络 应 用 研究 ， 
成 功 地 解决 了 旅行 疝 〈TSP) 计算 难题 〈 优 化 问题 )， 使 神经 网 络 的 研究 步 入 了 兴盛 时 期 。 

1984 年 ，Braitenberg 出 版 了 《Vehicles:Experiments in Synthetic Psychology》 一 书 ， 此 书 中 
引用 面 癌 对 象 技术 和 目 组织 怕 理 ， 通 过 对 假定 的 基本 机 人 制 的 合成 ， 而 不 是 目 顶 问 下 的 分 机 ， 使 
得 对 复杂 过 程 的 理解 达到 最 好 效果 。Braitenberg 通过 对 各 种 具有 简单 内 部 结 梅 的 机 器 的 描述 证 
上 明了 这 一 条 重要 法 则 。Braiterbersg 直接 和 间接 地 研究 动物 大 脑 超过 20 年 ,在 这 方面 的 研究 局 友 
其 发 现 机 器 特性 及 其 行为 。 

1985 年 ，Ackley、Hinton 和 Sejnowski 以 模拟 退火 思想 为 基础 ， 对 Hopfield 模型 引入 了 随 
机 机 制 ， 提 出 了 Boltzmann 机 ， 第 一 次 成 功 实现 了 多 层 神 经 网 络 的 功能 ， 打 令 了 人 们 心理 上 的 
局 限 ， 证 明了 Minsky 和 Papert 1969 年 的 推测 根据 是 不 正确 的 。 

1986 年 , Rumelhart、Hinton 和 Willianms 发 展 了 反 回 传播 算法 (Back-Propagation algorithm， 
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BP)。 同 年 , Rumelhert 和 MecClelland 编写 的 名 为 《Parallel Distributed Processing: Explorations in 
the Mirostructures of Cognition》 的 忆 出 版 ， 此 书 的 出 版 对 反 同 传播 算法 的 应 用 产生 了 重要 影响 。 
反问 传播 算法 已 成 为 大 多 数 多 层 感 知 器 训练 所 采用 的 流行 学 习 算法 。 该 算法 解决 了 多 层 NN 的 
学 习 问 题 ， 证 明了 多 层 神 经 网 络 的 计算 能 力 并 不 像 Minsky 等 人 所 预料 的 那样 弱 ， 相 反 它 可 以 
完成 许多 尝 习 任务 ， 解 决 计 多 实际 问题 。 

1988 年 ，Linsker 在 感知 剖 网 络 上 提出 了 一 种 痢 的 自 组 织 理论 ， 该 理论 用 于 保持 输入 行为 
模式 的 最 大 信息 ， 并 党 突 触 连接 和 活动 范围 的 限制 ， 在 Shanno 信息 论 的 基础 土 ， 形 成 了 最 大 
互信 息 理 论 。Linsker 的 论文 重新 点 燃 了 基于 神经 网 络 的 信息 应 用 理论 的 光臣 ， 尤 其 对 Bell 和 
Sejnowski 提出 的 育 源 分 离 问 题 (Blind Source Separation Problem ) 的 信息 应 用 理论 产生 了 影响 ， 
同时 激 起 许多 尝 着 去 探索 用 其 他 信息 理论 模型 去 解决 各 目 广 泛 领 域 中 的 问题 ， 这 种 方法 称 为 言 
肥 符 积 (Blind Deconvolution ) 。 

1988 年 ，Broomhead 和 Lowe 用 径 癌 基 函 数 (Radial Basis Functions, RBF) 提出 了 分 层 反 
饥 网 络 议 计 的 方法 。Broomhphead 和 Lowe 的 论文 将 神经 网 络 的 设计 与 数 人 分析 的 重要 领域 和 线 
性 适应 滤 肖 挂钩， 产生 了 大量 的 研究 成 课 ， 为 多 层 感 知 邵 的 研究 提供 了 又 -方法 和 途 千 。1990 
年 ，Poggio 和 Girosi 应 用 Tikhonoy 规则 理论 进一步 丰 时 了 人 径 网 基 理 论 。 

1989 年 ，Mead 的 《Analog VLSI and Neural Systemy》 一 书 出 版 ， 这 本 书 将 生物 神经 和 集成 
电路 络 合 在 一 起 ， 给 出 了 奎 视网膜 和 硅 耳 旺 。 

此 后 ， 神 经 网 络 领域 的 研究 有 了 新 发 展 ， 在 20 世纪 的 最 后 10 年 ， 产 生 了 大 量 关 于 神经 网 
络 的 论文 ， 并 在 许多 领域 应 用 了 神经 网 络 技术 ， 新 的 理论 和 实践 工作 层出不穷 ，20 世纪 90 年 
代 初 ，Vapnik 和 合作 者 友 明 了 一 闪 计 算 功 能 强大 的 导师 学 习 网 络 ， 用 于 解决 模式 识 唱 、 回 归 有 太 
密度 估 测 问题 ， 这 种 网 络 被 称 为 支持 疝 量 机 〈Support Vector Machines, SVM)， 以 有 限 样本 学 习 
理论 的 结论 为 基础 。 支 持 问 量 机 的 新 特征 在 于 Vapnik-Chervonenkis (VC ) 维特 征 绚 含 在 回 量 机 
的 设计 中 ，VC 维 数 为 衡量 神经 网 络 样本 的 学 习 能 力 捉 供 了 一 种 有 效 的 量 虔 。 

总 之 ， 以 Hopfield 教授 1982 年 友 表 的 论文 为 标 关 ， 掀 起 了 神经 网 络 的 研究 热潮 。1987 年 
6 月 ,在 美国 加 州 举 行 了 第 一 届 NN 国际 会 议 , 有 1000 多 名 学 者 参加 ， 并 成 也 了 国际 NN 学 会 ， 
以 后 每 年 召开 两 次 国际 联合 NN 大 会 (CUJCNN )， 其 他 国际 学 术 会 议 也 都 列 有 NN 主题 。 较 有 影 
吗 的 国际 学术 刊物 有 :《IEEE Transaction on Neural NetWork》 和 《Neural Network》。 美 国 IJBM、 
ATI&T、 贝 尔 实 验 室 、 神 经 计算 机 会 司 、 各 忆 校 ,美国 政府 制定 了 神经、 信息 、 行 为 科学 (NIBS)” 
计划 , 投资 5.5 亿美 元 作为 第 六 代 计 算 机 的 基础 研究 : 美国 科学 基金 会 (NSFE) 海军 研究 局 (ONR ) 
和 衬 车 科学 研究 部 〈《AFOSR ) 三 家 投资 1000 万 天 元 ; 类 国 国防 部 DARRA 认为 “NN 是 解决 机 
十 智 能 的 唯一 希望 > “这 是 - :项 比 鼠 子弹 工程 更 重要 的 技术 ”， 并 投资 4 亿美 元 。 主 要 人 赋 完 月 
标 为 : 目标 识别 与 跟踪 、 连 续 语 音 识 别 、 声 呐 依 号 辨识 。 

时 本 的 军士 通 、 日 本 电气 、 上 日 冬 、 三 区 、 东 之 等 公司 也 息 起 上 二 退 。1988 年 日 本 提出 了 所 请 
的 人 类 尖端 科 学 计划 (Human Frontier Science Program7， 即 第 六 代 计 算 机 研究 计划 。 法 因 提 出 
了 “万 里 卡 ” 计 划 ， 还 有 德国 的 “欧洲 防御 ”和 前 苏联 的 “高 撤 术 上 发展” 等 。 

我 国 于 1989 年 在 北京 台 开 了 一 个 非 正 式 的 NN 会 以; 1990 年 12 月 在 北 系 名 开 了 中 国 NN 
大 会 ; 1991 年 在 南京 成 立 了 中 国 NN 学 会 ， 由 国内 15 个 一 级 学 会 共同 发 起 “携手 探 智能 ， 联 
明 攻 大 关 ” 的 “863” 高 技术 研究 计划 ; 目 然 科学 基金 、 国 防 科技 预 研 基 金 也 部 列 入 了 NN 人 研究 
内 容 。 
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1.3 ”神经 网 络 模型 


1.3.1 “生物 神经 元 模块 


在 人 类 大 脑 皮层 中 大 约 有 100 亿 个 神经 元 ，60 万 亿 个 神经 突 触 以 及 它们 的 连接 体 。 单 个 神 
经 元 处 理 一 个 事件 需要 10”s ， 而 在 硅 芯 中 处 理 一 事件 只 需要 10”s 。 但 人 脑 是 一 个 非常 高 效 的 
结构 ， 大 脑 中 每 秒 每 个 动作 的 能 量 约 为 10 2?J， 而 当今 性 能 最 好 的 计算 机 进行 相应 的 操作 需要 
10 丁 。 

神经 元 是 基本 的 信息 处 理 单元 。 生 物 神 经 元 主要 由 树 突 、 轴 帘 和 突 触 组 成 。 其 结构 示意 图 
如 图 1-1 所 示 。 


1-1] 神经 元 细胞 


其 中 树 突 是 由 细胞 体 回 外 伸 出 的 ， 有 不 规则 的 表面 和 许多 较 短 的 分 支 。 树 突 相 当 于 信和 号 的 
得 入 疹 ， 用 于 接受 神经 冲动 。 轴 突 是 由 细胞 体 问 外 伸 出 的 最 长 的 一 条 分 支 ， 即 神经 纤维 ， 相 当 
于 信和 号 的 输出 电 顷 ， 其 疹 部 的 许多 神经 末 稍 为 信号 输出 端子 ， 用 于 传 出 神经 冲动 。 神 经 元 之 间 
通过 轴 宪 《输出 ) 和 树 突 〈 输 入 ) 相互 联络， 其 接口 称 为 突 触 。 每 个 细胞 约 有 103 或 104 个 突 
和 触 。 神 经 究 触 是 调整 神经 元 之 轩 相 互 作用 的 基本 结构 和 功能 单元 ， 最 通 稍 的 一 :种 神经 突 触 是 化 
将 神经 突 和 触 ， 瑟 将 得 到 的 电信 号 转化 成 化 学 信号 ， 和 再 将 化 党 信号 转化 成 电信 号 输出 。 这 相当 于 
双 接 口 充 备 。 它 能 加 强 兴 和 理 或 抑制 作用 ， 但 岗 者 不 能 同时 发 生 。 细 胞 膜 内 外 有 电位 差 ， 约 20 一 
100mV， 称 为 膜 电位 。 膜 外 为 正 ， 须 内 为 负 。 

神经 元 作为 信息 处 理 的 基本 半 元 ， 且 有 如 下 重要 的 功能 : 

(1) 可 塑性 ， 可 塑性 反映 在 新 突 触 的 产生 和 现 有 神经 突 触 的 调整 上 ， 可 塑性 使 神经 网 络 能 
够 适应 周围 的 环境 。 

(2) 时 空 整合 功能 : 时 间 整 合 功能 表现 在 不 同时 间 、 同 一 突 触 上 ; 空间 整合 功能 表现 在 同 
一 时 间 、 不 同 突 和 触 上 。 

(3) 兴 理 与 抑制 状态 : 当 传 入 神 动 的 时 空 整合 结果 使 细胞 用 电位 升 锅 ， 超 过 被 称 为 动作 电 
位 的 阔 值 〈 约 40mV) 时 ， 细 胞 进入 兴 香 状态 ， 产 生 神 经 名 动 ， 由 轴 突 输出 : 同样 ， 当 膜 电位 
低 于 效 值 时 ， 无 神经 冲动 输出 ， 细 胞 进入 抑制 状态 。 

(4) 脉冲 与 电位 转换 : 党 神经 纤维 传递 的 电 脉冲 为 等 巾 、 恒 袖 、 编 僻 〈60 一 100mV) 的 离 
散 脉 证 信 导 ， 而 细胞 电位 的 变化 为 连续 信和 号。 在 突 触 接口 处 进行 “ 数 / 模 ” 转 换 。 神 经 元 中 的 轴 
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突 非 间 长 和 符 ， 有 共有 电阻 高 、 电 压 大 的 特性 ， 因 此 轴 突 可 以 建 模 成 阻 容 传播 电路 。 

45) 突 触 的 延 时 和 不 应 期 : 突 触 对 神经 名 动 的 传递 具有 延 时 和 不 应 期 ， 在 相 邻 的 二 次 冲动 
乙 辐 需 归 一 个 时 间 间 隔 。 在 此 期 间 对 激励 不 啊 应 ， 不 能 传递 神经 冲动 。 

(6) 学 习 、 冰 生 和 疲 克 : 突 触 的 传 违 作用 有 学 习 、 簿 瑟 和 疲 基 过 程 。 


1.3.2 ”人工 神经 元 模型 


1， 早 输入 间 输 出 人 工 神 经 元 
一 个 单 输入 里 输出 的 人 工人 昼 经 元 如 图 1-2 押 泵 。 


HA 


= 
【 二 
有 2 人 REIRRAREERRRRRRRRER 本 0 了 生字 
人 贰 oo PT TO “| 开 
站 人 | | 1 及 二 了 
ea 一 一 一 -一 一 - 玫 汪 - 庆 汪 号 ] 下 Re | 由 
匡 二 3 | 和 0 四 
5 和 0 已 ___ ， 
人 和 六 恰 2 区 和 ER 一 各 | 一 一 一 一 改 - 
本 本 证 了 
1 全 汪 克 
| 1 这 | 最 
iis 由 上 
昌 光 


ynp 三 1Oxo ) 
Xi 一 CCW，y0， 人 ) 
= 上 人 (2 
图 1-2” 单 得 入 单 输出 的 人 工种 经 元 


从 图 1-2 中 可 以 看 出 ， 标 量 输入 xz 经 过 预 处 理 冰 数 单元 7 ， 预 处 理 半 元 7 的 输出 为 
yo 三 《 (20) (1-1) 
标 有 4 的 方 框 称 为 输入 函数 或 激活 图 数 ， 其 输入 /输出 关系 为 
入 二 QUOW, yo,O) (1-2) 


其 中 输入 函数 〈 激 活 函 数 ) 4 可 以 是 任意 的 函数 ， 风 称 为 权 《 或 权 值 ， 在 这 里 是 标量 )， 坟 称 
为 阔 值 。 权 值 和 靖 值 都 是 可 以 调整 的 参数 。 如 乐 不 想 在 神经 元 中 使 用 痪 什 ， 可 以 忽略 它 。 在 后 
面 的 章节 中 将 会 出 现 这 样 的 情况 。 输 入 函数 的 输出 为 通 各 被 称 为 将 和 输入， 它 伞 送 入 一 个 变换 上 
数 〈 或 传输 函数 ) / ， 在 /中 产生 神经 元 的 标量 输出 放 。 

标 有 ,的 圆圈 称 为 人 工 神经 元 的 变换 函数 ， 其 输入 /得 出 天 系 为 


J 三 上 注 (20) (1-3 ) 


在 具体 应 用 时 ， 人 工 神经 元 的 预 处 理 施 数 、 输 入 函数 和 变换 图 数 痢 有 有 具 体 的 形式 。 这 里 作 
定 其 预 处 理 函 数 是 恒 等 变 换 函 数 ， 输 入 图 数 是 内 积 函 数 ， 如 疼 1-3 所 未。 


ea 几 人 oo 
有 rn 有 蜡 
0 和 -rprercrrrmrrrerrreerreor 一 一 昌 0 汪 
大 本 于 2 | 屯 漂 面 ER 
有 人 二 攻 5 | 浊  : 二 
aasr 风 车 和 4 3 0 : 0 ， 
人 5 人 
0 | 
尾 一 一 2 
二 2 站 
生 
人 
下 
加 要 
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图 1-3 输入 函数 为 内 积 图 数 时 的 单 输入 单 输出 人 工 神 经 元 
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根据 图 1-3， 预 处 理 单元 7 的 输入 /输出 关系 为 
yo =!(xo) = 加 (1-4) 


得 入 困 数 《或 数 活 函数 ) 的 输入 /输出 关系 为 


为 =G(W yoO=Wyo+O=(OC 由， (1-5 ) 
避 
在 本 书 中 ， 变 换 函 数 y = 矿 5 ) 的 具体 形式 是 类 支 集 函数 。 
右 将 这 个 傈 单 的 模型 和 前 面 所 讨论 的 生物 神经 元 相对 照 , 则 权 值 如 对 应 于 突 触 的 连接 强度 ， 
组 胞 体 对 应 于 输入 图 数 〈 激 活力 数 ) 和 变换 图 数 ， 神 经 元 输出 矿 代 表 轴 突 信 和 号 。 
在 此 使 用 样 条 函数 神经 元 ， 引 入 了 两 类 样 条 函数 神经 元 。 样 条 函数 神经 元 结构 简单 ， 第 一 
类 样 条 函数 神经 元 结构 图 如 疼 1-4 所 示 。 


s( ) CE 
0 & 会 > 
MX0 一 一 -| 用品 一 一 一 一 
2 


Z0 一 SCXn 
《s 》 zu 
图 1-4 ”第 一 类 样 条 困 数 神经 元 结构 岁 
在 图 1-4 所 示 的 样 条 函数 伸 经 元 结构 图 中 ， 阐 和 输入 


Z0 三 SCX0 (1-6) 


式 中 〈1-6) 中 Soxo) 是 自 变量 为 各 的 一 元 样 条 函数 ， 称 为 样 条 权 函 数 。 样 条 权 函 数 的 一 个 重要 
的 特点 驶 是 它 是 输入 目 变 量 的 图 数 ， 而 不 是 传统 方法 中 的 第 数 。 图 1-4 中 标 有 Add 的 圆 交 表 示 
加 法 器 ， 它 将 净 得 入 相 加 求 和 ， 由 于 图 1-4 的 净 输 入 只 有 一 个 变量 ， 有 有 


本 过 (1-7 ) 
在 此 还 引入 另外 一 类 样 条 函数 神经 元 《第 二 类 样 条 冰 数 神经 元 )， 其 结构 如 图 1-5 所 示 。 


与 图 1-4 不 同 ， 图 1-5 中 标 有 MUI 的 圆圈 表示 琵 法 般 ， 它 将 净 输 入 相 滋 ， 由 于 图 1-5 的 究 
答 入 只 有 一 个 变量 ， 所 以 有 


z,=]]z=z (1.-8) 


SC 
EX) 
Z 二 ] 
图 1-$ 第 二 类 样 条 国 数 神经 结构 图 
2， 多 输入 单 输出 人 工 神 经 元 
通常 ， 一 个 神经 元 有 不 只 一 个 输入 ， 具 有 严 个 输入 的 一 般 人 工 神 经 元 如 图 1-6 所 示 。 
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图 1-6 有 具有 产 个 和 输入， 一 个 输出 的 一 般 人 工 神 经 元 
从 图 1-6 中 可 以 看 出 ， 每 一 个 标量 和 输入 2 人 =12……m) 经 过 预 处理 函 数 单元 了 后 ， 得 到 的 
输出 为 
yoi =7(xXo ) (1-9 ) 
标 有 ea 的 方 框 是 输入 函数 〈 或 激活 函数 )， 其 输入 /输出 关系 为 


X 三 CGO yo,O) (1-10) 


要 


几 二 (OO (1-11) 


几 =(yyp (1-12 ) 


式 〈1-10) 中 输入 函数 〈 激 活 函 数 ) & 可 以 是 任意 的 函数 ，w 为 权 回 量 ， 避 为 国 伍 。 闯 答 
入 闫 被 送 入 一 个 变换 函数 (或 传输 函数 ) P 在 j 中 产生 神经 元 的 标量 输出 。 除 了 输入 病 增 加 
了 维 数 之 外 ， 其 余 和 图 1-2 是 一 样 的 。 

与 前 面 类 似 , 这 里 假定 其 预 处 理 函 数 是 恒 等 变换 函数 , 输入 函数 是 内 积 冰 数 , 如 疼 1-7 
所 示 。 


HE 
光 ee 
en 
如 = 检 0 
二 > 二 下 人 由 
二 - 1 上 站 9 下 : 介 ; 和 
3 SS = 中 长 人 和 nn 法 所 可 na 
ER 一 于 | 站 晶 | 卜 
mm 
ai 了 有 得 : 同 > E 环 。 3 人 
: 0 攻 有 0 An 
池 卫 一 We 1 
本 中 ee 
一 一 站 3 
本 
靖 ” 
We 
让 
| 


图 1-7 ”输入 函数 为 内 积 函 数 时 的 多 输入 单 和 输出 人 工 神经 元 
根据 图 1-7， 预 处 理 单元 7 的 输入 /输出 关系 为 


二 SEE 
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yo = 《(xX0) 三 7X0， 一 ] .2…… 711 (1-13 ) 
输入 函数 《或 激活 图 数 ) 的 输入 /输出 关系 为 


|] 
加 01 
入 三 W 二 CC=(CW Wo (1-14) 
0 
其 中 
遍 三 (Or (1-15 ) 
y = (yo yo (1-16 ) 


市 =(8,mw WwW ) 和 和 =( 人 (yyov) 分 别称 为 扩充 权 和 扩充 输入 。 


与 前 面相 同 ， 变 换 函 数 访 = jz) 的 具体 形式 是 类 文集 轴 数 。 


第 一 类 多 输入 单 输出 样 条 图 数 神 经 元 结构 如 图 1-8 所 示 。 
在 图 1-8 所 示 的 第 一 类 多 输入 单 输出 样 条 函数 神经 元 结构 中 ， 疤 输入 


Z, 一 SCX 1) 一 ] .2171 (1-17 ) 
式 (1-17) 中 避 ( 国 ) 是 自 变量 为 怒 的 一 元 样 条 函数 ， 称 为 样 条 权 函 数 。 由 于 图 1-8 的 净 输 入 有 闸 
个 变量 ， 所 以 有 


(1-18) 


SS (X ) z = CC) =12……71a 


4s 于 人 <i 
1 一] 
图 1-8 ”第 一 类 多 输入 单 输出 样 条 冰 数 神经 元 结构 由 


对 于 图 1.9 所 示 的 第 二 类 多 输入 单 输出 样 条 函数 神经 元 结构 ， 净 输入 仍然 由 式 1-17) 计 
算 ， 输 出 为 


5 -T[z (1-19 ) 
1 一] 
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多 1-9 第 二 锻 多 竹 入 音 输 出 样 条 函数 神经 元 结构 图 


1.4 ”人工 神经 网 络 的 分 类 


表面 介绍 了 人 人工 神 经 元 模型 ， 将 大 量 的 神经 元 进行 连接 可 构成 人 工 神 经 网 络 。 神 经 网 络 中 
伸 经 元 的 连接 方式 与 用 于 圳 练 网 络 的 学 习 算 法 是 等 密 结 合 的 ， 可 以 认为 应 用 于 神经 网 络 充 计 中 
的 笠 习 算法 是 被 纺 构 化 了 的 。 

直面 先 来 介绍 人 工 神 经 网 络 的 分 类 。 

可 以 从 不 同 的 角度 对 人 工 神经 网 络 进行 分 类 ， 如 : 

(1) 从 网 络 性 能 角度 可 分 为 连续 型 与 离 艇 型 网 络 、 确 定性 与 随机 性 网 络 。 

(2) 从 网 络 结构 角度 可 为 前 回 网 络 与 反馈 网 络 。 

(3) 从 学 习 方 式 角 上 度 可 分 为 有 导师 学 习 网 络 和 无 导师 学 习 网 络 。 

(4) 控 连 续 突 触 性 质 可 分 为 阶 线 性 关联 网 络 和 高 阶 非 线性 关联 网络。 

本 刷 将 网 络 结构 和 学 习 算 法 相 结 合 ， 对 人 上 神经 网 络 进行 分 燃 。 

1， 音 层 表 阿 网 络 

所 谓 单 层 前 问 网 络 是 指 拥有 的 计算 节点 《神经 元 ) 是 “ 单 层 ”的 ， 如 图 1-10 所 示 。 这 里 表 
示 源 节点 个 数 的 “输入 层 ” 梓 看 做 一 层 神经 元 ， 因 为 该 “得 入 层 ” 不 具有 执行 计算 的 功能 。 

2， 多 层 琢 向 网 络 

多 层 前 辐 网 络 与 单 层 前 网 网 络 的 区 别 在 于 : 多 层 前 同 网 络 含有 - -个 或 更 多 的 隐 含 层 ， 其 中 
计算 节点 被 相应 地 称 为 隐 含 神经 元 或 隐 含 单元 ， 如 图 1-11 所 示 。 

















图 







多 
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人 





















的 
源 帮 点 输入 居 神经 元 得 出 居 源 入 点 输入 层 神经 元 隐 公 层 神经 元 输出 层 


图 1-10 单 层 前 回 网 络 图 1-11 多 层 前 向 网 络 


图 1-11 所 示 的 多 层 前 向 网 络 由 含有 8 个 神经 元 的 输入 层 、 含 有 4 个 神经 元 的 隐 含 层 和 含有 


2 个 利 经 元 的 输出 质 所 组 成 。 





2 于 
2 和 ri ES 
1 
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网 络 输入 技 中 的 每 个 源 节 点 的 激励 模式 〈 输 入 同 量 ) 单元 组 成 了 应 用 于 第 二 层 〈 如 第 一 隐 
含 层 ) 中 神经 元 〈 计 算 节 点 ) 的 输入 信号 ， 第 二 层 输出 信和 号 成 为 第 三 层 的 输入 ， 其 余 屋 类 似 。 
网 络 每 - 技 的 神经 元 只 侣 有 作为 它们 输入 前 一 层 的 输出 信号 ， 网 络 输入 层 〈 终 止 层 ) 神经 元 的 
竹 出 信号 组 成 了 对 网 络 中 输入 层 〈 起 始 层 ) 源 节 点 产生 的 激励 模式 的 全 部 啊 应 。 即 信号 从 输入 
技 输 入 ， 经 隐 含 层 传 给 输出 层 ， 由 输出 层 得 到 和 输出 信号 。 

通过 加 入 -个 或 更 多 的 隐 舍 层 , 使 网 络 能 提取 出 更 高 序 的 统计 , 尤其 当 输 入 层 规模 庞大 时 ， 
贸 合 神经 元 提高 高 序 统计 数据 的 能 力 便 显 得 格外 重要 。 

3.， 反馈 网 络 

所 请 反馈 网 络 是 指 在 网 络 中 至 少 含 有 一 个 肥 馈 回路 的 神经 网 络 。 反 馈 网 络 可 以 包含 一 个 单 
层 人 种 经 元 ， 其 中 每 个 神经 元 将 目 且 的 输出 信号 反馈 给 其 他 所 有 神经 元 榴 输入 ， 如 图 1-12 所 示 ， 
图 中 所 示 的 网 络 即 为 著名 的 Hopfield 网 络 。 图 1-13 所 示 的 是 另 一 类 型 的 含有 隐 含 层 的 反馈 网 络 ， 
冬 中 的 反 饿 连接 起 始 于 隐 含 神经 元 和 输出 神经 元 。 图 1-12 和 图 1-13 我 所 示 的 网 络 结构 中 没有 
目 反 馈 回 路 。 目 反馈 回路 是 指 一 个 神经 元 的 输出 反馈 至 其 输入 ， 含 有 目 反 饥 的 网 络 也 属于 反馈 
网 络 。 


局 节 
| 
二 本 面 二 4 
本 1 
| 
EE 
网 1-12 无 自 及 饶 和 隐 合 层 的 反馈 网 络 图 1-13 





4.， 随机 神经 网 络 

随机 神经 网 络 是 对 神经 网 络 引 入 随机 机 制 ， 认 为 神经 元 是 按照 概 潍 的 怕 理 进行 工作 的 ， 这 
就 是 说 ， 每 个 神经 元 的 兴奋 或 抑制 具有 随机 性 ， 其 概率 取决 于 神经 元 的 输入 。 

5 竞争 神经 网 络 

竞 争 神经 网 络 的 显著 特点 是 它 的 和 输出 钊 经 元 
相互 竞争 以 确定 胜 者 ， 胜 者 指出 哪 一 种 刀 形 模式 
最 能 代表 输入 模式 。 

Hamming 网 络 是 一 个 最 简单 的 芝 争 神经 网 
络 ， 如 图 1-14 所 示 。 神 经 网 络 有 一 个 羊 层 的 町 出 
神经 元 ， 每 个 输出 神经 元 都 与 输入 节点 全 相连 ， 
输出 神经 元 之 间 全 互 连 。 从 源 节点 到 神经 元 之 间 
是 兴奋 性 连接 ， 输 出 神经 元 之 间 横 加 侧 抑制 。 





源 节 点 层 单 层 输出 神经 元 
图 1-14 最 简单 的 竞争 神经 网 络 一 -Hamming 网 络 


1.5 ”神经 网 络 的 学 习 方 式 


神经 网 络 的 学 习 也 称 为 训练 , 指 的 是 通过 神经 网 络 所 在 环境 的 刺激 作用 调整 神经 网 络 的 自由 
参数 ， 使 神经 网 络 以 一 种 新 的 方式 对 外 部 环境 作出 反应 的 一 个 过 程 。 能 够 从 环境 中 学 习 和 在 学 习 
中 提高 自身 性 能 是 神经 网 络 最 有 意义 的 性 质 。 神 经 网 络 经 过 反复 学 习 对 其 环境 更 为 了 解 。 
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尝 习 算法 是 指针 对 学 习 回 题 的 明确 规则 集合 。 尝 习 类 型 是 由 参数 变化 产生 的 形式 决定 的 ， 
不 同 的 和 学习 算法 对 神经 元 的 突 触 权 值 调整 的 表达 陈 不 同 。 没 有 一 种 独特 的 学 习 算 法 用 于 设计 所 
有 的 神经 网 络 。 选 择 或 设计 学 习 算 法 时 还 需要 考虑 神经 网 络 的 结构 及 神经 网 络 与 外 界 环境 相连 
的 形式 。 

学 习 方 式 可 分 为 : 有 导师 学 习 (Learning With a Teacher) 和 无 导师 学 习 (Learning Without a 
Teacher ) 。 

(1) 有 导师 学 习 。 

有 导师 学 习 又 称 为 监督 学 习 〈Supervised Learming)， 在 学 习 时 需要 给 出 导师 们 号 或 称 为 期 
强 输 出 《〈 啊 应 )。 神 经 网 络 对 外 部 环境 是 未 知 的 ， 但 可 以 将 导师 看 做 对 外 部 环 壕 的 了 解 ， 由 输 
入 /输出 样本 集合 来 表示 。 导 师傅 号 或 期 望 啊 应 代表 了 神经 网 络 执行 情况 的 最 佳 效 果 ， 即 对 于 网 
络 输 入 调整 网 络 参 数 ， 使 得 网 络 输 出 琐 近 导师 信号 或 期 望 啊 应 。 

(2) 无 导师 学 习 。 

无 导师 学 习 包 括 强 化 学 习 (了 Reinforcement Learning ) 与 无 监督 学 习 (Unsupervised Learning ) 
或 称 为 自 组 织 学 习 〈Self-Organized Learning)。 在 强化 学 习 中 ， 对 输入 /输出 映射 上 学 习 是 通过 
与 外 界 环境 的 连续 作用 最 小 化 性 能 的 标量 索引 而 完成 的 。 在 无 监督 学 习 或 称 为 和 目 组 织 学 悦 中 没 
有 外 部 导师 或 评价 来 统 观 学 习 过 程 ， 而 是 提供 -- 个 关于 网 络 学 习 衣 示 方 法 质量 的 训 量 尺度 ， 根 
据 该 尺度 将 网 络 的 上 自由 参数 最 优化 。 一 旦 网 络 与 输入 数据 的 统计 规律 性 达成 一 致 ， 就 能 够 形成 
内 部 表示 方法 来 为 输入 特征 编 侣 ， 并 由 此 得 出 新 的 次 别 。 

下 面 介 绍 $ 个 基本 的 神经 网 络 学 习 规 则 ，Hebb 学 习 、 基 于 记忆 的 学 习 、 纠 错 学 习 、 竞 争 学 
习 和 随机 尝 习 。 

1.， Hebb 学 习 

1994 年 ，Hebb 提出 神经 网 络 党 习 的 规则 ， 它 是 最 古 吉 也 是 最 着 名 的 尝 习 规则 。 为 了 纪念 
这 位 伟大 的 神经 心理 学 家 ， 将 这 种 学 习 规则 命名 为 Hebb 学 习 规则 。 

Hebb 学 习 规 则 用 于 调整 神经 网 络 的 突 触 权 值 ， 可 以 概括 为 : 

(1) 如 果 一 个 突 触 〈 连 续 ) 两 边 的 两 个 神经 元 锌 异步 激活 ， 则 该 突 触 的 能 量 回 科 有 选择 地 
消 弱 或 消除 。 

(2) 如 果 一 个 突 触 〈 连 续 ) 两 边 的 两 个 神经 元 被 同时 〈 即 同步 ) 激活 ， 则 诅 突 触 的 能 量 驶 
做 选 择 性 地 增加 。 

Hebb 学 习 规 则 的 数学 摘 述 如 下 : 


W, 表示 神经 元 x, 到 X 的 突 触 权 值 ， 元 和 元 分 别 表示 神经 元 广 和 ;i 在 一 段 时 间 内 的 平均 
值 ， 在 学 习 步 骤 为 上 时 对 突 触 权 值 的 调整 为 


Awi (CD) 三 171 一 艺人 三 CO) 一 必用 (1-20 ) 
式 中 ，71 是 正常 数 ， 它 决定 了 在 学 习 过 程 中 从 一 个 步骤 进行 到 另 一 个 步骤 的 竺 习 速 率 ， 称 其 为 


式 〈1-20) 表示 : 

中 如 果 神 经 元 六 和 活动 充分 时 ， 即 同时 满足 条 件 X >xXi 和 大 > 关 时 ， 突 触 权 值 W;y 增 昨 。 

@ 如 果 神 经 元 活动 充分 〈 即 X2 >X ) 而 神经 元 ; 活动 不 充分 〔 郑 < )， 或 者 神经 元 活 
动 充 分 〈 关 > 天 ) 而 神经 元 活动 不 充分 (Xi <xi ) 时 ， 突 触 权 全 WwW， 减 小 。 
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2. 基于 记忆 的 学 习 规 则 

基本 记忆 的 学 习 主 要 用 于 模式 分 类 ， 在 基于 记忆 的 学 习 中 ， 过 去 的 学 习 结果 被 存储 在 一 个 
大 的 重 储 器 中 , 当 输 入 一 个 新 的 测试 癌 量 Xes 时 , 学 习 过 程 就 是 将 Eees 归 到 已 存储 的 某 个 类 中 。 
所 有 有 基于 所 忆 的 学 习 算 法 均 包 括 两 部 分 : -是 用 于 定义 es 的 局 部 领域 的 标准 ; 二 是 用 于 在 
Xiest 上 电 局 部 领 碾 计 练 样本 的 和 尝 习 规则 。 

一 种 简单 而 有 效 的 基于 记忆 的 学 习 算 法 束 是 最 近邻 规则 。 设 存储 器 中 所 记忆 的 某 一 类 与 含 
在 向量 Ex e {, 2 ， 如 果 式 〈1-21) 成 立 

min Ci Tes) 一 GOEN Ties [一 | 2 AN (1]1-21 ) 


出 交 test 属于 上 类 。 其 中 dx ) 是 问 量 X， 与 Xiest 的 欧 氏 距离 。 
Cover 和 Hart 将 最 近邻 规则 作为 模式 识别 的 工具 加 以 研究 。 分 析 是 以 以 下 两 个 假设 作为 基础 的 ; 
(1) 样本 (di) 独立 同 分 布 ， 依 照样 本 (xz,d) 风 联 合 概率 分 布 。 


(2) 样本 数量 六 无 限 大 。 
侍 上 述 假 设 条 件 下 , 由 最 近邻 规则 导致 的 分 类 铺 误 概 率 科 限制 于 两 倍 Bayes 错误 概率 之 下 ， 


也 融 是 所 有 判定 规则 中 的 最 小 销 误 概率 。 
最 近邻 分 类 右 的 变形 是 到 阶 近邻 分 类 器 。 其 思想 为 : 如 末 与 测试 问 量 Yies 最 近 的 上 个 疝 量 


均 定 茶 类 列 的 丫 量 ， 则 Yest 属于 该 类 别 。 
3 纠 铀 字 习 规则 
特 先 我 们 基 虑 一 个 简单 的 情况 : 设 菜 神经 网 络 的 输出 层 中 只 有 一 个 神经 元 总 给 该 神经 网 
络 加 上 输入 ， 这 样 就 产生 了 输出 六 (m ， 称 该 输出 为 实际 输出 。 对 于 所 加 上 的 输入 ， 我 们 期 户 
该 神经 网 络 的 输出 为 &Ua) ， 称 为 期 望 输出 或 且 标 输出 。 实 际 输 出 与 期 望 输出 之 间 存 在 着 误差 ， 
用 e() 表示 。 
e() 三 红 ( 一 久 ( (1-22 ) 


现在 要 调整 突 触 权 值 ， 使 误差 信号 e(J) 减 小 。 为 此 ， 可 设 定 代价 函 数 或 性 能 指数 天 (m) 


| 
尼 (7 站 = 本 6 (7) (1-23 ) 


肥 复 调整 突 甬 权 值 使 代价 函数 达 色 最 小 或 使 系统 达到 一 个 稳定 状态 《〈 即 突 般 权 信 稳定 )， 
聊 完 成 了 笠 习 过 程 。 
该 学 : 习 过 程 称 为 纠 铅 和 尝 习 ， 也 称 为 Delta 规则 或 者 Widrow-Hoff 规则 。 
Wi 表示 神经 元 交 ; 到 关 的 突 触 权 什 ， 在 笠 习 步 又 为 天 时 对 突 触 权 值 的 调整 为 
Ai (P) 一 11E(71)X ( 严 ) ( 1-24 ) 
式 中 ，7/ 为 学 习 速 率 参 数 。 式 〈1-24) 表明 : 对 神经 元 突 触 权 值 的 调整 与 突 触 误差 信号 和 输入 信 
号 成 比例 。 纠 销 学 习 实 际 上 是 局 部 的 ，Delta 规则 所 规 完 的 突 般 权 值 调 整 局 限于 入 经 元 工 的 周围 。 
得 到 Aw; 0) 之 后 ， 定 义 突 触 权 值 w 的 校正 值 为 
Wi 十 三 W (7) 士 Aw， (7 ) 《1.25 


式 中 ，Wi Ca 和 地 (2+DT 可 分 别 看 做 是 突 触 权 值 w; 的 旧 值 和 新 值 。 
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4.， 竞争 学 习 规 则 

在 苋 争 党 习 中 ， 神 经 网 络 的 输出 神经 元 之 间 相 互 竞争 ， 在 任 一 时 间 只 能 有 一 个 输出 神经 元 
是 活动 的 。 和 而 在 基于 Hebbian 和 学 习 的 神经 网 络 中 几 个 输出 神经 元 可 能 同时 是 活动 的 。 

苑 和 争 笠 习 规 则 有 三 项 基本 内 容 : 

(1) 一 个 神经 元 集合 。 除 了 和 茶 些 随机 分 布 的 突 触 权 值 以 外 ， 所 有 的 神经 元 都 相同 ， 因 此 对 
给 定 的 输入 模式 集合 有 不 同 的 啊 应 。 

(2) - -个 机 制 。 允 许 神 经 元 通过 竞 争 对 一 个 给 定 的 输入 子 集 作出 啊 应 。 启 得 竞争 的 神经 元 
锌 称 为 全 胜 神 经 元 。 

(3) 每 个 神经 无 的 能 量 都 和 伏 限 制 。 

在 竞争 学 习 的 最 简单 形式 中 ， 神 经 网 络 有 一 个 单 层 的 输出 神经 元 ， 每 个 输出 神经 元 都 与 输 
入 节点 全 相连 , 输出 神经 元 之 间 全 互 连 , 如 图 1-14 所 未 。 从 源 节 点 到 神经 元 之 间 是 兴奋 性 连接 ， 
输出 神经 元 之 间 模 回 侧 抑制 。 

对 于 一 个 指定 输入 模式 x， 一 个 神经 元 工 成 为 获胜 神经 元 ， 则 它 的 感应 局 部 区 域 几 大 于 网 
络 中 其 他 神经 元 的 感应 局 部 区 域 。 煞 胜 神 经 元 莽 的 和 输出 信号 包 伞 置 为 1， 所 有 竞争 失败 神经 元 
的 输出 信号 被 置 为 0， 好 


Lv >V 了 了 天? 
人 (1-20 ) 


_ 10 其 他 
感应 局 部 场 六 表示 神经 元 有 的 所 有 前 同和 上 友 陆 输入 的 组 全 行为 。 
令 Wi 为 输入 Xi 与 基 个 神经 元 的 突 触 权 值 ， 假 说 分 配给 每 个 神经 元 固定 数量 的 突 触 权 重 ， 即 
2 由 =1 对 所 有 (1-27) 
如 果 - -个 特定 的 神经 元 了 在 竞争 中 获胜 ， 则 这 个 神经 元 的 每 一 个 输入 下 点 都 放弃 和 输入 权 值 
的 - -部 分 ， 并 且 放 弃 的 权 值 平均 分 布 在 活性 输入 节 氮 之 中 。 根 据 标准 驶 和 争 学 习 规 则 ， 突 租 权 值 
的 变化 定义 为 
1 一 Amw，) 如 果 神 经 元 在 竞争 获胜 
人 册 . == 7 | 四 (1 -28 ) 
0 如 果 神 经 元 守 在 竞争 失败 
式 中 ,7 是 学 习 速 率 参 数 。 这 个 规则 能 够 使 得 获胜 神经 元 的 突 触 权 值 重 回 量 风 ;回答 入 模式 关 ) 转移 。 
5 随机 学 习 规 则 
随机 学 习 规 则 也 称 为 Boltzmann 学 习 规 则 ， 是 为 了 纪念 Ludwig Boltzmann 人 而 俞 名 上 的。 
Boltzmann 学 习 规 则 是 由 统计 力学 思想 而 来 的 ， 在 Boltzmann 学 习 规 则 基础 上 设计 出 的 神经 网 
络 称 为 Boltzmann 机 ， 其 学 习 实 质 上 天 是 著名 的 模拟 退火 〈Simulated Annealing, SA) 算法 。 


1.6 ”神经 网 络 的 特点 及 优点 


1.6.1 ”神经 网 络 特 扣 
神经 网 络 的 主要 特点 是 ; 


(1) 分 布 式 存储 信息 。 其 信息 的 存储 分 布 在 不 同 的 位 置 ， 神 经 网 络 是 用 大 量 利 经 元 之 间 的 


LN 
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四 接 及 对 从 连接 权 值 的 分 布 来 表示 特定 的 信息 ， 从 而 使 网 络 在 局 部 网 络 受 损 或 输入 信号 因 各 种 
原因 灾 生 部 分 畸变 时 ， 仍 然 能 够 保证 网 络 的 正确 输出 ， 提 高 网 络 的 容错 性 和 和 鲁 棒 性 。 

2) 信息 处 理 与 存储 合 二 为 一 。 神 经 网 络 的 每 个 神经 元 都 兼 有 信息 处 理 和 存储 功能 ， 神 经 
元 乙 轩 连接 吕 度 的 变化 ， 既 反映 了 对 信息 的 记忆 ， 同 时 义 与 神经 元 对 激励 的 响应 一 起 反映 了 对 
至 忍 的 处 理 。 

《3) 并 行 协同 处 理 信 息 。 神 经 网 络 的 每 个 神经 元 都 可 根据 接收 到 的 信息 进行 独立 的 运算 和 
处 理 ， 并 得 出 结 未 ， 同 一 层 中 的 各 个 神经 元 的 输出 结果 可 被 同时 计算 出 来 ， 然 后 传输 给 下 一 层 
做 进一步 处 理 ， 这 体现 了 神经 网 络 并 行 运算 的 特点 ， 这 -特点 使 网 络 具 有 非常 强 的 实时 性 。 虽 
然 单个 神经 元 的 结构 极其 简单 ， 功 能 有 限 ， 但 大 量 神经 元 构成 的 网 络 系统 所 能 实现 的 功能 是 极 
其 丰 园 多 销 的 。 

(4) 对 信息 的 处 理 具 有 目 组 织 、 目 学 习 的 特点 ， 便 于 联想 、 综 合 和 推广 。 神 经 网 络 的 神经 
元 之 间 的 连接 踢 度 用 权 值 大 小 来 表示 ， 这 种 权 值 可 以 通过 对 训练 样本 的 学 习 而 不 断 变 化 ， 而 且 
旺 看 训练 梓 本 的 增加 和 上 反复 学 习 ， 这 些 神经 元 之 亲 的 连接 强度 会 不 断 增 加 ， 从 而 提高 神经 元 对 
这 些 样本 特征 的 反映 有 灵敏度 。 


1.6.2 ”神经 网 络 的 优 操 


伸 经 岗 络 的 计算 能 力 很 明显 有 以 下 岗 个 特点 : 一 是 大 规模 并 行 分 布 式 结构 :二 是 神经 网 络 
学 习 能 力 以 及 几 此 而 来 的 泛 化 能 力 。 记 化 是 指 神 经 网 络 对 不 在 训练 集中 的 数据 可 以 产生 合理 的 
输出 。 这 蝎 种 信息 处 理 能 力 让 神经 网 络 可 以 解决 一 些 当前 还 不 能 处 理 的 复杂 的 大 型 问题 。 

神经 网 络 具 有 和 下列 性 质 和 能 

(1) 非 线 性 。 一 个 人 工 神经 元 可 以 是 线性 或 者 是 非 线 性 的 。 一 个 由 非 线 性 神经 元 互 连 而 成 
的 神经 网 络 自 吴 是 非 线 性 的 ， 并 且 非 线性 是 一 种 分 布 于 整个 网 络 中 的 特殊 性 质 ， 且 是 一 个 很 重 
要 的 性 质 。 

(2) 竹 入 /条 出 映射 。 有 昨 艾 学习 或 有 导师 和 学习 是 一 个 学 习 的 流行 范例 ， 使 用 训练 样本 对 神 
经 网 络 的 权 值 进行 修改 。 每 个 样本 由 一 个 唯一 的 输入 信号 和 相应 的 期 望 啊 应 组 成 。 从 训练 集中 
陋 机 选取 一 个 样本 输入 网 络 ， 网 络 融 调整 它 的 权 值 ， 使 输入 信和 号 的 期 望 啊 应 与 由 输入 信和 号 通过 
网 络 计算 而 产生 的 实际 咽 应 之 间 的 差别 最 小 化 。 使 用 训练 集中 的 很 多 样本 重复 网 络 的 训练 ， 直 
到 网 络 到 这 疫 有 显 乾 的 权 值 修正 的 竹 定 状态 为 止 。 对 当前 问题 ， 网 络 通过 建立 输入 /输出 映射 从 
样本 中 进行 学 习 。 

(3) 目 运 应 能 力 。 神 经 网 络 和 入 了 一 个 调整 目 身 权 值 以 适应 外 界 变化 的 能 力 。 特 别 是 一 个 
在 特定 运行 环 站 下 接受 如 练 的 神经 网 络 ， 对 环境 条 件 不 大 的 变化 可 以 容易 地 进行 重新 训练 。 而 
且 ， 当 它 在 -个 时 变 环境 《〈 即 它 的 统计 特性 随时 间 变 化 ) 中 运行 时 ， 网 络 权 值 可 以 设计 成 随时 
间 变 化 。 用 于 模式 识别 、 信 号 处 理 和 控制 的 神经 网 络 与 它 的 目 适 应 能 力 耘 合 ， 就 可 以 变 成 能 
行 目 通 应 模式 识别 、 目 适应 信号 处 理 和 目 适 应 控制 的 有 效 工 具 。 作 为 一 个 一 般 规 则 ， 在 保证 系 
统 保持 往 定 时 一 个 系统 的 目 适 应 性 越 好 ， 当 要 求 在 一 个 时 变 环 壕 下 运行 时 它 的 性 能 承 越 共和 鲁 棒 
性 。 但 目 运 应 性 个 一 定 寻 致 鲁 棒 性 ， 实 际 可 能 相 凤 。 

(4) 证 据 啊 应 。 在 模 云 识别 问题 中 ， 神 经 网 络 可 以 设计 成 既 担 供 选 择 哪 一 个 特定 模 陈 的 信 
县 ， 也 扒 供 决 宁 的 阐 信 度 信 息 。 后 着 可 以 用 来 判断 那 芭 出 现 的 过 于 模糊 的 模式 。 有 了 这 择 信 息 ， 
网 络 的 分 类 性 能 跳 会 改善 。 
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05) 篆 时 的 信息 。 神 经 网 络 的 特定 结构 和 激发 状态 代表 知识 。 网 络 中 每 一 个 神经 元 潜在 地 
部 受 网 络 中 所 有 其 他 神经 元 全 局 活动 的 影响 。 因 此 ， 背 景 信 息 自 然 册 一 个 神经 网 络 处 理 。 

06) 较 好 的 容 钳 性 。 通 瘟神 经 网 络 总 是 包含 大 量 的 神经 元 和 大 量 的 连接 关系 ， 同 时 信息 是 
分 布 去 人 存储 的 ， 当 一 些 神经 元 遭 到 伏 坏 ， 整 个 系统 仍 能 正常 工作 ， 因 而 具有 高 度 的 容错 能 力 和 
芭 韧 性。 万 外 ， 一 个 以 便 件 形 却 实现 后 的 神经 网 络 有 天 生 上 容错 的 游 质 或 者 鲁 棒 计 算 的 功能 ， 即 
它 的 性 能 在 不 利 运 行 条 件 下 逐渐 下 降 。 

(7) VLSI 实现。 神经 网 络 的 大 规模 并 行 性 使 它 共 有 快速 处 理 荣 些 任 务 的 潜在 能 力 。 这 一 性 
能 使 得 神经 网 络 很 适合 用 超大 规模 集成 (Very Large Scale Integrated，VLSI) 技术 实现 。 

(8) 分 析 和 设计 的: : 致 性 。 基 本 上 ， 和 神经 网 络 作为 信息 处 理 器 有 具有 通用 性 ， 即 涉及 神经 网 
络 应 用 的 所 有 领域 都 使 用 同样 的 记号 。 这 种 特征 以 不 同 的 方式 表现 出 来 ; 不 管 形 式 如 何 ， 神 经 
元 在 所 有 的 神经 网 络 中 都 代表 一 个 相同 的 成 分 。 这 种 共性 使 得 在 不 同 应 用 中 的 神经 网 络 共享 相 
同 的 理论 和 学 习 算 法 成 为 可 能 。 模 块 化 网 络 可 以 用 模块 的 无 颖 集成 来 实现 。 

(9) 神经 生物 类 比 。 神 经 网 络 的 设计 是 由 人 脑 的 类 比 引 发 的 ， 人 脑 是 一 个 容 馈 的 并 行 处 理 
的 活生生 的 例子 ， 说 明 这 种 处 理 不 仅 在 物理 上 可 实现 ， 而 且 还 是 快速 高 效 的 。 神 经 生物 学 :家 将 
人 工 神经 网 络 看 做 一 个 解释 神经 生物 现象 的 研究 工具 。 


1.7 ”神经 网 络 的 结构 


为 了 简化 讨论 ， 将 前 面 1.3 节 讨 论 的 几 种 人 工 神 经 网 络 结构 作 一 个 统 . -的 描述 ， 如 疼 1-15 
所 示 。 其 中 圆圈 中 的 AN 表示 神经 元 ， 对 于 图 1-6 和 图 1-7 所 示 的 神经 网 络 结构 ，A 代表 诈 活 了 
数 、 变 换 函 数 ， 而 对 于 图 1-8 和 图 1-9，A 则 表示 加 法 器 或 者 乘法 右 。s$ 表示 梓 条 权 国 数 自 量 ， 
w 表示 传统 人 工 神经 网 络 结构 中 的 常数 权 向 量 ， 但 是 不 包含 闪 值 ; 而 多 表示 传统 人 工 神 经 网 络 
结构 中 的 单数 权 回 量 ， 包 侣 园 便 。 





图 115 儿 种 多 输入 单 输出 人 工 神经 网 络 结构 的 统一 撒 述 


- - 身 来 说 ， 有 多 个 输入 的 单个 神经 元 并 不 能 满足 实际 应 用 的 要 求 。 在 实际 应 用 中 需要 有 多 
个 并 行 操作 的 神经 元 ， 这 些 可 以 并 行 操作 的 神经 元 组 成 的 集合 称 为 “ 层 ”。 

图 1-16 中 的 小 圆圈 表示 预 处理 单 元 〈 输 入 层 和 输出 层 都 有 预 处 理 单元 ， 预 处 理 单 元 有 
时 可 以 用 来 平滑 数据 )， 图 1L16 中 的 标 有 Ni 的 圆圈 表示 人 工 神 经 元 ， 可 以 是 样 条 函数 神经 
元 ， 也 可 以 是 传统 神经 元 。X 表示 人 工 神经 网 络 的 输入 ， 思 表示 人 工 神经 网 络 的 实际 输出 ， 
z 表示 人 工 神经 网 络 的 日 标 输出 ( 即 期 望 的 输出 )。 神 经 网 络 训练 的 月 的 就 是 通过 权 的 调整 ， 
使 得 交 和 zi 之 间 的 误差 最 小 。S 表示 样 条 权 函 数 年 阵 。 王 表示 传统 人 工 神经 网 络 结构 中 的 
常数 权 值 年 阵 ， 但 是 不 包含 阔 值 ， 而 俐 表示 传统 人 工 神经 网 络 结构 中 的 常数 权 和 矩阵 ， 包 合 
闵 值 。 
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Xe 
2 OCS 和 一 天 
Fn0 一 天 ( 朝 人 上 me < 


刚 1-16 几 种 多 输入 多 输出 人 工 神 经 网 络 结构 的 统一 描述 


比较 图 1-15 和 图 1-16 可 知 ， 两 者 之 间 的 区 别 仅 仅 是 输出 维 数 〈 即 输出 层 节 点 个 数 ) 不 同 。 

对 于 样 条 示 数 神经 网 络 ， 图 1-16 所 示 的 人 工 神 经 网 络 结构 就 可 以 实现 关 维 输入 到 半 维 输 
出 之 间 的 蜗 映 ， 而 对 于 代数 算法 ， 图 1-17 所 示 的 人 工 神 经 网 络 结构 可 以 实现 六 维 输入 到 兄 维 
性 出 乙 辣 的 映射 ， 显 然 ， 这 里 需要 更 多 的 连接 权 。 
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图 1-17 三 层 多 和 输入 多 输出 人 工 神 经 网 络 结核 

有 时 为 了 摘 述 方便 ， 将 神经 网 络 进一步 简化 。 图 1-18 是 对 于 图 1-16 的 简化 。 在 图 1.18 中 ， 

X 和 表 不 答 入 起 阵 ， 了 表示 输出 德 阵 ， 粗 箭头 上 方 的 碌 ， 表 示 全 互 连 的 前 馈 连 接 权 ， 其 含义 是 输 
入 技 的 每 - :个 神经 元 的 输出 都 前 馈 连 接 到 输出 层 的 每 一 个 神经 元 。 





图 1-18 多 输入 多 输出 人 工 神 经 网 络 结构 简化 图 未 


多 1-19 走 对 于 图 1-17 的 简化 。 在 图 1-19 中 ,天 表示 输入 矩阵 ，7 表示 输出 矩阵 ， 粗 箭头 
二 方 的 外 oAc 表示 输入 层 与 隐 层 之 间 的 全 互 连 的 前 馈 连 接 权 ， 其 含义 是 输入 层 的 每 一 个 神经 元 
的 输出 都 前 饭 连 接 到 隐 层 的 每 一 个 神经 元 。 厂 iAc 则 表示 隐 层 与 输出 层 之 间 的 全 互 连 的 前 馈 连 接 
公 ， 其 含义 是 隐 层 的 每 -个 神经 元 的 输出 都 前 馈 连 接 到 输出 层 的 每 一 个 神经 元 。 





图 1-19 三 层 多 输入 多 输出 人 工 神经 网 络 结构 简化 图 示 
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以 上 简化 图 示 的 方法 可 以 方便 地 推广 到 多 个 隐 层 时 人 工 神经 网 络 的 结构 ， 如 图 1-20 所 示 。 
在 岁 1-20 中 ， 假 设 人 工 神 经 网 络 总 共有 层 ， 记 为 第 &K=12……, 于 一 1 层 。 第 0 情 ( 上 = 人 0) 
为 输入 层 ， 第 二 -1 层 (下 = 区 -1 ) 为 输出 屋 ， 其 余 中 间 各 层 是 隐 层 。 





1-20 多 隐 技 多 输入 多 输出 人 工 神 经 网 络 结构 的 简化 图 示 
神经 网 络 的 算法 通 旬 可 以 用 矩阵 运算 来 描述 。 全 书 将 采用 和 抢 阵 描述 方法 。 
当然 ， 神 经 网 络 的 结构 不 止 以 上 几 和 种。 如果 各 个 层 之 间 具 有 反馈 连接 ， 则 构成 了 递归 神经 
网 络 。 


1.8 人工 神 经 网 络 与 人 工 智 能 


人 工 智能 Artificial Intelligence, AI) 是 用 计算 机 模型 拟 思维 功能 的 科学 。 人 工 智能 与 人 工 
神经 网 络 均 是 研究 人 脑 、 人 类 思维 和 认 知 的 学 科 与 技术 ， 它 们 之 问 存在 着 干 丝 万 缕 的 联系 ， 洒 
节 将 从 认识 模型 上 对 人 工 智能 与 人 工 神经 网 络 进行 比较 。 


1.8.1 人 工 智能 的 概述 


人 上 二 重 能 是 夺 复 机 科 竺 的 一 个 重要 分 文 ， 是 路 和 学科 的 前 泊 科 学 ， 涉 及 心理 学 、 脑 生理 学 、 
计算 机 科 笠 、 匠 笠 等 尝 科 。20 世纪 30 至 40 年 代 ， 数 量 则 和 辑 和 关于 计算 的 新 思路 这 岗 项 靳 新 的 
研究 成 采 促 成 了 人 工 智 能 的 产生 和 上 友 展 。 数 量 渴 和 辑 的 研究 成 果 使 推理 的 某 些 方面 可 以 用 比较 简 
单 的 结构 予以 形式 化 ,从 而 为 镶 能 活动 的 部 分 过 程 在 计算 机 上 实现 打下 了 基础 。 计 算 的 新 思路 : 
图 灵 于 1946 年 提出 的 “思维 即 计 算 ”(“Thinking is computing”) 把 符 寻 处 理 过 程 中 的 形式 推理 
升 到 思维 的 融 度 。 

对 -于 人 工 和 镶 能 有 不 同 的 定义 。 

上 义 人 工 智能 的 定义 : 通过 对 人 类 智能 活动 奥秘 的 探索 与 记忆 思维 机 理 的 人 研究， 以 实现 网 
方面 的 目的 : (1) 开发 人 类 智力 活动 的 潜能 ;， (2) 探讨 用 各 种 《电气 的 、 光 学 的 、 生 物 的 ， 甚 
全 机 要 的 ) 机 吉 模 拟人 类 智能 的 途径 ， 使 人 类 的 智能 得 以 物化 与 延伸 。 

狭义 人 工 知 能 的 定义 : 人 工 吞 能 是 用 计算 机 模型 模拟 思维 功能 的 科 竺 。 

人 工 智 能 必须 有 能 力 做 二 件 事 ; 知识 存储 、 用 存储 的 知识 解决 问题 和 通过 经 验 获 取 新 知识 ， 
上 收 “个 人 工 知 能 系统 有 :个 关键 部 分 ，， 表 泵 、 推 理 和 尝 习 ， 如 图 1-21 所 未。 





独 1-21 人 工 智 能 系统 的 三 个 核心 部 分 未 莫 图 
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1. 推理 

在 计 多 基本 结构 中 ， 推 理 是 解决 问题 的 能 力 ， 一 个 系统 要 有 出 色 的 推理 能 力 ， 必 须要 满足 
竺 定 条 件 : 届 系 统 必 须 文 持 显示 和 隐藏 的 信息 ; 凶 系 统 必 须 能 表示 和 解决 十 分 广泛 的 问题 及 问 
题 闫 型， 多 系统 必须 有 一 个 控制 机 制 ， 当 问题 已 被 求解 或 对 问题 的 进一步 处 理 完成 时 ， 以 决定 
对 特定 问题 使 用 何 种 操作 。 寻 找 问 题 的 解 次 可 视 为 搜索 ， 对 “搜索 ”通常 的 处 理 方 法 是 用 规则 、 
数据 和 控制 。 规 则 作用 于 数据 ， 控 制作 用 于 规则 。 

在 实际 情况 中 《如 医学 诊断 ) 可 能 遇 到 可 用 知识 不 完全 或 不 确切 的 情况 ， 在 这 种 情况 下 ， 
可 以 及 用 概率 推理 过 程 ， 因 此 人 工 智能 系统 可 处 理 不 确定 性 。 

2.， 表示 (Representation ) 

人 工 智 能 最 独特 的 特性 是 对 符号 结构 语言 普 届 深入 的 应 用 ， 这 种 语言 能 表示 特定 问题 域 的 
-和 肯 知 识 和 问题 求解 的 特殊 知识 ， 符 号 通 帝 用 公式 表示 ， 这 种 表示 对 用 户 而 言 相 对 容易 理解 ， 
实际 上 竺 去 人工 智能 的 透明 上 度 非 党 适合 人 机 交互 。 

人 工 知 能 研究 专家 用 到 的 “知识 ”是 数据 的 夯 一 种 表述 ， 具 有 说 明 性 和 过 程 性 。 在 说 明 性 
表示 中 ， 知 识 表 示 为 事实 的 静态 集合 ， 并 市 有 一 个 用 于 操作 事实 的 一 般 忻 过 程 集合 。 在 过 程 性 
衣 示 中 ， 知 庚 表 示 绝 售 于 可 执行 代码 中 ， 此 代码 能 执行 知识 表达 的 意义 。 在 绝 大 部 分 问题 域 中 
通 曾 用 这 两 种 闫 型 的 知识 。 

3. 字 习 


学 习 也 称 为 机 器 学 习 。 机 器 学 习 的 简单 模型 如 图 1-22 所 示 。 





图 1-22 ”机 器 学 习 的 简单 模型 


环境 提供 给 学 习 元 件 一 些 信息 ， 掌 习 元 件 将 这 些 信 息 加 入 到 知识 库 中 ， 执 行 元 件 以 知识 库 
为 基础 执行 任务 。 周 围 环 境 提 供给 机 器 的 知识 种 类 通 第 是 有 人 缺陷 的 ， 结 果 学 习 元 件 事 先 不 知道 
如 何 填 补 中 失 细 节 或 如 何 忽略 不 重要 的 细节 ， 因 此 机 绒 先 任 猜 测 执 行 ， 再 获取 从 执行 元 件 传 来 
的 有 反馈， 反馈 机 制 使 机 乾 能 推测 假设 并 在 必要 时 进行 修正 。 

机 器 学 习 包 括 两 种 截然 不 同 的 信息 处 理 方向 ， 归 纳 和 演绎 。 在 归纳 信息 处 理 过 程 中 ， 从 原 
始 数据 和 经 验 得 到 一 般 模 式 和 规则 。 在 演绎 信息 处 理 中 ， 从 一 般 规 则 得 到 特定 事实 。 基 于 相似 
度 的 学 习 用 归纳 的 方法 ， 其 理论 证 据 则 是 从 已 知 公 理 和 理论 中 泪 绎 而 来 的 ， 基 于 解释 的 学 习 用 
归纳 和 演绎 网 种 方法 。 


1.8.2 人 人工 神经 网 络 的 应 用 


大工 神经 网 络 的 应 用 极其 广泛 ，1988 年 《DARPA 神经 网 络 研究 报告 》 列 举 了 神经 网 络 在 
不 同 领 域 中 的 应 用 实例 。 

(1) 航空 航天 业 : 高 性 能 飞机 目 动 概 驶 仪 、 飞 行 航 线 模拟 、 飞 行 器 控制 系统 、 上 是 动 驾 驶 增 
强 、 长 机 构件 模拟 、 改 机 构件 故障 检测 等 。 

(2) 汽车 业 : 汽车 日 动 要 驶 系统 、 保 单行 为 分 析 。 

(3) 银行 业 : 文法 和 其 他 文档 旋 取 、 信 用 卡 申 请 书评 佑 。 

(4) 信用 上 行为 检查 : 用 于 辨认 与 踪 失 的 信用 卡 相 关 的 不 寻常 的 信用 卡 行为 。 
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(5) 国防 工业 :武器 制造 、 目 标 跟 踪 与 识别 、 脸 部 认识 、 新 型 传感器 、 声 呐 、 雷 达 、 图 像 
处 理 与 数据 压缩 、 特 征 提取 与 噪声 抑制 、 信 号 /图 像 识 别 。 

(6) 电子 业 :， 编码 序列 预测 、 集 成 电路 芯片 版 图 设计 、 过 程控 制 芯片 故障 检测 、 机 器 人 视 
觉 、 语 音 合成 非 线 性 建 模 。 

(7) 娱乐 业 :， 动画 、 特 效 、 市 场 预测 。 

(8) 金融 业 : 房地产 评价 、 贷 款 指 导 、 抵 押 审 查 、 集 团 债务 评估 、 信 用 曲线 分 析 、 有 价 证 
券 交易 程序 、 集 团 财政 分 析 、 货 币 价 格 预测 等 。 

(9) 工业 : 预测 燃 炉 产生 的 气体 ， 在 其 他 工业 过 程 中 取代 复杂 而 昂贵 的 仪器 设备 。 

(10) 保险 业 : 政策 应 用 评估 ， 产 出 最 优化 。 

(11) 制造 业 ， 制 造 业 过 程控 制 、 产 品 设计 与 分 析 、 过 程 与 机 器 诊断 、 实 时 微粒 识别 、 可 视 
化 质量 检测 系统 、 焊 接 质 量 分 析 、 纸 质 预 测 、 计 算 机 芯片 质量 分 析 、 化 学 产品 设计 分 析 、 机 器 
保养 分 析 、 工 程 投 标 、 经 营 与 管理 、 化 学 处 理 系统 的 动态 建 模 等 。 

(12) 医学 : 乳腺 瘤 细 胞 分 机 、EEG 和 ECG 分 析 、 假 体 设 计 、 移 植 时 间 最 优化 。 降 低 医 疗 
费用 支出 ， 提 高 医疗 质量 。 

(13) 石油 天 然 气 : 勘探 。 

(14) 机 器 人 技术 : 行走 路 线 控 制 、 铲 车 机 器 人 、 操 纵 控 制 器 、 视 觉 系统 等 。 

(1$) 语音 : 语音 识别 、 语 音 压 缩 、 元 音 分 类 、 文 本 - 语 彰 合成 等 。 

(16) 有 价 证 券 ， 市 场 分 析 、 自 动 债券 评级 、 股 票 交易 咨询 系统 等 。 

(17)》 电信 业 : 图 像 与 数据 压缩 、 自 动 信息 服务 、 实 时 语言 翻译 、 用 户 付 费 处理 系 统 等 。 

(18) 交通 :卡车 刹车 诊断 系统 、 车 辆 调度 、 行 程 安排 系统 等 。 

相信 随 着 人 工 神经 网 络 研究 的 进 - - 步 深 入 ， 特 别 是 人 工 神经 网 络 作为 一 种 智能 方法 同 其 他 
学 科 领 域 更 为 紧密 的 结合 ， 人 工 神 经 网 络 的 应 用 前 景 将 更 为 广阔 。 


1.8.3 人 工 神经 网 络 与 人 工 智 能 相 比 较 


人 工 智 能 与 人 工 神经 网 络 在 认 知 模型 上 许多 不 同 之 处 ， 我 们 从 解释 级 列 、 表 未 纺 构 和 处 理 
方式 3 个 方面 进行 比 较 。 

1， 解释 级 别 

传统 人 上 工 智 能 中 用 符号 表示 某 些 事物 。 从 认 知 的 观点 来 看 ， 人 工 智 能 认为 智能 表示 万 法 十 
存在 的 ， 并 且 建 立 了 由 符 吕 表示 的 顺序 处 理 的 认 知 模型 。 

大 工 神 经 网 络 强调 并 行 分 布 处 理 〈Parallel Distriputed Processing, PDP) 模型 ， 这 种 模型 认 
为 通过 大 量 神经 元 的 相互 作用 产生 信息 处 理 ， 每 一 个 神经 元 在 网 络 中 将 兴 查 或 抑制 信号 送 给 其 
他 神经 元 。 神 经 网 络 特别 强调 对 认 知 现象 的 神经 生 钧 解释 。 

2， 表示 结构 

符号 表示 含有 - -个 准 语言 结构 。 同 自然 语言 的 表达 一 样 ， 经 典 Al 的 表达 通 第 非常 复 尖 ， 
它 建 立 于 简单 符 愉 的 系统 结构 之 上 。 给 定 -个 有 限 符号 集 ， 有 意义 的 新 表达 通常 由 下 列 部 分 组 
成 : 符号 表达 成 分 、 句 法 结构 与 语义 的 模拟 。 

而 结构 和 天 然 表 示 是 神经 网 络 的 . -个 至 关 重 要 的 问题 ， 于 1988 年 定期 举行 的 认 知 会 议 上 上， 
Fodor 和 Pylyshyn 含蓄 地 批判 了 神经 网 络 处 理 认 知 和 语言 方面 的 计算 复杂 度 ， 他 们 就 神经 网 络 
在 认 知 的 两 个 基本 过 程 ， 即 思维 表示 和 思维 处 理 中 存在 哪些 误解 产生 了 分 芭 。 根 据 Fodor 和 
Pyiyshyn 思想 ， 提 出 了 传统 人 工 智能 而 非 神经 网 络 的 理论 : 
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@ 上 各 维 表示 的 特征 表现 出 一 个 复合 结构 的 组 成 和 组 合 语义 。 

@ 思维 过 程 对 运行 一 个 复合 结构 的 组 成 和 组 合 语义 非 营 敏感 。 

3， 处 理 方 元 

传统 人 工 千 能 中 ， 处 理 是 顺序 的 ， 类 似 于 典型 的 计算 机 编程 ， 甚 至 当 没 有 预定 次 序 〈 如 专 
过 系统 中 对 事实 和 规定 的 扫 摘 ) 时 ， 其 处 理 柠 作 仍然 是 一 步 一 步 执行 。 

相 比 之 下 ， 并 行 性 不 仅 对 神经 网 络 中 的 信息 处 理 至 关 重 要 ， 而 且 是 适应 性 之 源 ， 庞 大 的 并 
行 度 《成 干 上 万 神经 元 ) 赋予 了 伸 经 网 络 篆 棱 性 这 一 重要 特征 。 计 鼻 和 在 众多 网 络 的 神经 元 中 传 
播 , 网 络 对 人 沼 有 昊 声 或 不 完整 的 输入 仍然 可 以 进行 识别 ; 一 个 银 损 坏 的 网 络 仍然 可 以 满足 运行 ， 
而 且 其 学 习 无 顷 太 好 。 

已 之 ， 我 们 可 用 目 上 而 下 的 方法 将 符号 人 工 乔 能 朱 述 为 知识 数据 表示 和 规则 系统 语言 中 一 
个 刻板 机 的 操作 ， 也 可 用 自 下 而 上 的 方法 将 神经 网 络 手 述 为 具有 天 然 尝 习 能 力 的 并 行 分 布 式 处 
理 机 。 在 执行 认 知 任务 的 过 程 中 ， 应 发 现 更 多 隐 合 的 有 用 的 方法 、 手 段 并 将 其 结合 成 为 结构 化 
的 连接 模型 混合 系统 ， 而 不 是 单独 的 基于 符号 的 人 工 智 能 或 神经 网 络 进行 求解 搜索 ， 因 此 ， 我 
们 能 将 神经 网 络 的 适应 性 、 和 鲁 棒 性 和 一 致 性 与 从 符号 人 工 智能 中 继承 的 表示 、 推 理 和 普通 性 结 
合 起 米 ， 产 生 期 望 特性 。 实 际 上 ， 一 些 方法 束 是 基于 这 种 目标 思想 而 产生 的 ， 能 从 训练 的 伸 经 
网 络 中 提取 规则 ， 另 外 对 符号 和 联机 结合 方式 上 理解 ， 可 以 整合 起 来 制造 一 个 智能 机 。 
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2.1 MATLAB 集 介 


MATLAB 诞生 于 20 世纪 70 年 代 ， 捷 的 编 与 少 是 Cleve Moler 博士 和 他 的 同事 。 当 时 ， 他 们 
利用 Fortran 开发 了 两 个 子 程序 库 一 一 EISPACK 和 LINPACK。 这 两 个 子 程序 库 是 求解 线性 方程 的 
星 序 库 。 但 是 ，Cleve Moler 发 现 学 生 使 用 这 肉 个 程序 库 有 些 困难 ， 主 要 问题 是 因为 接口 程序 不 好 
写 ， 很 费时 间 。 于 是 Cleve Moler 自己 动手 ， 在 业余 时 间 里 编写 了 EISPACK 和 LINPACK 的 接口 
程序 。Cleve Moler 给 这 个 接口 程序 取 名 为 MAILAB， 意 为 矩阵 (Matrix 和 实验 室 (Laboratory ) 
的 组 合 。 以 后 儿 年 ，MATLAB 作为 侈 费 软 件 在 大 学 里 被 广汉 使 用 ， 深 党 大 学 生 的 喜 宏 。 

1984 年 ，Cjleve Moler 和 John Little 成 羡 了 MathWorks 公司 ， MATLAB 排 加 市场， 
并 继续 进行 MAITLAB 的 开发 .1933 年 , MathWorks 公 梧 推出 了 MALLAB 4.0; 1995 年 , MathWorks 
公司 推出 了 MATLAB 4.2C 版 (For Win3.x)，1997 年 ， 推 出 了 MATLAB S$.0;， 2000 年 10 月 ， 
MathWorks 公司 推出 了 MATLAB 6.0; 2002 年 8 月 ， 发 布 了 MATLAB 6.$; 2004 年 9 月 发 布 了 
MATLAB 7，2006 年 3 月 发 布 了 MATITLAB 2006a; 2006 年 9 月 发 布 了 MATLAB 2006b; 2007 

3 月 发 布 了 最 新 的 MAITLAB R2007。 每 一 次 有 版 本 的 推出 都 使 MATLAB 有 长 足 的 进步 ， 界 面 

越 来 越 友好 ， 内 容 越 来 越 丰 宇 ， 功 能 越 来 越 强大 ， 训 助 系统 越 来 越 完 善 。 

MATILAB 善 长 数值 计算 ， 能 处 理 大 量 的 数据 ， 而 且 效 率 比 较 高 。MathWorks 公司 在 此 基础 
| 加强 了 MATLAB 的 符号 计算 、 文 字 处 理 、 可 视 化 建 模 和 实时 控制 能 力 ， 增 强 了 MAITLAB 的 
市 场 党 争 力 ， 使 MAITLAB 成 为 市 场 注 流 的 数 僵 计算 软件 。 

MATLAB 产品 族 是 支持 从 概念 设计 、 算 法 开发 、 建 模仿 真 到 实时 实现 的 理想 的 集成 环境 的 。 
无 论 进 行 科学 研究 还 是 产品 开发 ，MATLAB 产品 族 都 是 必须 不 可 少 的 工具 。 

1，MATLAB 产品 构成 

MATLAB 主要 产品 有 : 

@ MATLAB 

所 有 MathWorks 公司 产品 的 数值 分 析 和 图 形 基础 环境 。MAILAB 将 2D 和 3D 图 形 、 
MATLAB 诸 言 编程 集成 到 -个 单一 的 、 易 学 易 用 的 环境 之 中 。 二 





人 


@ MATLAB ToolBox we 


系列 专用 的 MATLAB 冰 数 库 ， 用 于 解决 特定 领域 的 问题 。 工 具 箱 是 开放 的 、 可 扩展 的 ， 
村 以 查看 其 中 的 算法 或 开发 自己 的 算法 。 人 


人 


本 


二 






将 MATLAB 语言 编写 的 M 文件 自动 转换 成 C 或 C++ 文件 ,支持 用 户 进行 独立 的 应 用 开发 。 
结合 MathWorks 提供 的 C/C++ 妆 竺 库 图 数 和 图 像 库 ， 用 忆 可 以 利用 MATILAB 估 速 地 开发 出 功 
能 强大 的 独立 应 用 系统 。 村 

@ ImUlnk 


它 结合 了 框图 界面 和 交互 仿真 能 力 的 非 动态 系统 仿真 工具 。 它 以 MATLAB 的 数学 、 


站 


本 
二 二 汪汪 二 证 


ee 


ee 
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和 语言 为 基础 。 
@ tateflow 
汪 Simulink 框 冬 模型 相 结合 ， 摘 述 复 杂事 件 驱 动 系统 的 逻辑 行为 ， 驱 动 系 统 可 以 在 不 同 的 
模式 之 间 进 行 切换 。 
昌 上 eal-Lime Workshop 
青 技 从 Simulink 框图 目 动 生 成 C 或 Ada 代码 ， 用 于 实现 快速 原型 和 硬件 的 仿真 ， 整 个 代 
倍 的 生成 可 以 根据 需要 完全 定制 。 
@ ImuUlnk Bjockset 
专门 为 特定 领域 设计 的 Simulink 功能 模块 的 集合 , 用 户 也 可 以 利用 已 有 的 模块 或 自行 编写 
C 和 MATLAB 程序 建立 目 己 的 模块 。 
2， MATLAB 的 功能 
MATLAB 的 核心 是 一 个 基于 矩阵 运算 的 快速 解释 程序 , 它 交 互 式 地 接收 用 户 输入 的 各 项 命 
， 输 出 计算 结构 。MATLAB 提供 了 一 个 开放 式 的 集成 环境 ,用 户 可 以 运行 系统 提供 的 大 量 命 
， 包 括 数据 计算 、 图 形 绘 制 和 代 但 编制 等 。 有 具体 来 说 ，MAITLAB 具有 以 下 功能 。 
@ 算 阵 运算 功能 
数据 可 视 化 功能 
绘图 功能 
大 量 的 工具 箱 
GUI 设计 
Simulink 仿真 
通过 运用 MATLAB 这 些 强 大 的 功能 ， 工 程 师 、 科 研 人 员 、 数 学 家 和 教育 工作 者 可 以 在 统 
-的 平台 下 完成 相应 的 科学 计算 工作 。 这 些 工具 涉及 的 领域 非常 广泛 ， 例 如 汽车 、 电 子 仪器 表 
和 通信 等 。 
MathWorks 公司 刚刚 推出 了 MATLAB R2007 版 本 产品 ， 即 MATLAB R2007， 增 加 了 两 个 
新 产品 模块 ， 同 时 还 升级 和 修正 了 82 个 产品 模块 。 
3. MATLAB 的 应 用 领域 
MATLAB 产品 族 可 用 于 以 下 领 堪 。 
数据 分 析 
数值 和 符 扎 计 往 
建 模 、 仿 真 、 了 原型 开发 
控制 系统 计 
工程 与 科学 绘图 
图 形 用 户 界面 设计 等 
数据 图 像 信 号 处 理 
财务 工作 
MATLAB 产品 族 被 广泛 地 应 用 于 包括 信号 与 图 像 处 理 、 控 制 系统 设计 、 系 统 仿真 等 诸多 领 
域 。 开 放 式 的 结构 使 MAITLAB 产品 族 很 容易 针对 特定 的 需求 进行 扩充 ， 从 而 在 不 断 深 化 对 问 
题 的 认识 的 同时 ， 提 高 自身 的 竞争 力 。 
MATLAB 产品 族 的 一 大 特性 是 有 众多 的 面 癌 具体 应 用 的 工具 箱 和 仿真 模块 ,包含 了 完整 的 
图 数 集 ， 用 来 对 信和 号 与 图 像 处 理 、 控 制 系统 设计 、 神 经 网 络 等 特殊 应 用 进行 分 机 和 设计 。 辣 时 ， 


人 心 必 
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其 他 的 产品 也 延伸 了 MATLAB 的 能 力 ， 包 括 数据 采集 、 报 告 生 成 和 依靠 MATLAB 语言 编程 产 
生 独 立 的 C/C++ 代 和 码 等 。 


2.2 MATLAB 的 语言 特点 


MATLAB 语言 具有 不 同 于 其 他 高 级 语言 的 特点 ， 补 称 为 “第 四 代 ” 计 算 机 语言 。 与 第 2-- 代 
计算 机 语言 如 FORTRAN 语言 和 C 语言 一 样 ，MATLAB 语言 使 人 们 从 烦琐 的 程序 代码 中 解放 
出 来 。 其 丰富 的 图 数 使 开发 者 无 顷 重 复 编 程 ， 只 要 简单 地 调用 和 使 用 即 可 。 下 面 将 一 -一 介绍 
MATLAB 语言 的 主要 特点 。 

1.， 编程 效率 高 

MATLAB 是 一 种 面 回 科学 与 工程 计算 的 高 级 语言 ， 允 许 用 数学 形式 的 语言 编写 程序 ， 用 比 
FORTRAN 和 C 语言 更 加 接近 书写 计算 公式 的 思维 方式 ， 用 MATLAB 语言 编程 犹如 在 演算 纸 
上 排列 出 公式 和 求解 问题 。 因 此 ，MATLAB 语言 也 可 通俗 地 称 为 “ 汗 算 纸 式 ”科学 算法 语言 。 
由 于 它 纺 与 简单 ， 所 以 编程 效率 融 ， 易 学 复 恒 。 

2.， 扩充 能 力 好 ， 交 互 性 好 

高 版 本 的 MATLAB 语言 具有 丰 军 的 库 函 数 ， 在 进行 复杂 的 数学 运算 时 可 以 百 搂 雷 用 ， 而 
日 MATLAB 的 库 函 数 与 用 户 文 件 在 形式 上 一 样 , 所 以 用 户 文 件 也 可 以 作为 MATLAB 的 库 图 数 
来 调用 。 因 而 ， 用 户 可 以 根据 目 己 的 需要 方便 地 建 记 和 扩充 新 的 库 数 ， 以 便 提 避 MATLAB 
的 使 用 效率 。 另 外 , 它 还 充分 利用 FORTRAN、C 等 语言 的 资源 , 包括 用 户 已 编 好 的 FORTRAN、 
C 语言 程序 ， 方 便 地 调用 有 关 FORTRAN、C 语言 的 子 和 程序， 还 可 以 在 C 语言 和 FORTRAN 语 
言 中 方便 地 使 用 MATLAB 的 数值 计算 功能 ， 这 样 良 好 的 交互 性 使 程序 员 可 以 使 用 以 前 编写 过 
的 程序 ， 以 减少 重复 性 工作 ， 也 使 现在 编号 的 程序 具有 重复 利用 的 锥 但。 

3. 移植 性 和 开放 性 好 

MATLAB 是 用 C 语言 编写 的 ,县 C 语言 的 可 移植 性 很 好 ,因此 MATLAB 可 以 很 方便 地 移 
植 到 可 运行 C 语言 的 操作 平台 上 上 。MATILAB 适合 的 工作 平台 有 Windows 系列 、UNIX、Linux、 
PowerMac、VMS6.1。 除 了 内 部 函数 外 ，MATLAB 所 有 的 核心 文件 和 工具 箱 文 件 都 是 公开 的 ， 
都 是 可 读 可 写 的 源 文件 ， 用 户 可 以 通过 对 源 文件 的 修改 和 自己 编程 建立 新 的 工具 箱 。 

4. 语句 简单 、 内 涵 丰 富 

MATLAB 语言 中 最 基本 的 成 分 是 函数 ， 图 数 一 般 由 变量 名 、 输 入 变量 和 输出 变量 组 成 。 同 
一 个 函数 名 ， 不 同 数目 的 输入 变量 及 不 同 数目 的 输出 变量 代表 着 不 同 的 含义 。 这 不 仅 便 
MATLAB 的 库 函 数 功能 更 丰富 ， 而 且 大 大 减 小 了 需要 的 人 硬盘 空间 ,使 得 MATLAB 编 与 的 M 文 
件 徐 单 、 短 小 而 高 效 座 。 

5 用户 使 用 方便 

大 们 用 任何 一 种 语言 编写 程序 和 调试 程序 时 一 般 都 要 经 过 四 个 步骤 : 编辑 、 编 译 、 连 接 及 执行 
和 调试 。 各 个 步骤 之 间 是 顺序 关系 ， 编 程 的 过 程 就 是 在 它们 之 间作 尝 布 型 的 循环 。MAILAB 语言 
与 其 他 语言 相 比 ， 较 好 地 解决 了 上 述 问题 ， 将 编辑 、 编 译 、 连 接 和 执行 融 为 一 体 。 它 能 在 同一 画面 
上 进行 灵活 操作 ， 快 速 排除 输入 程序 中 的 书写 错误 、 语 法 错 记 及 语义 馈 记 ， 从 而 加 局 了 用 成 编 与 、 
修改 和 调试 程序 的 速度 ， 可 以 说 在 编程 和 调试 过 程 中 它 是 一 种 比 VB 还 要 人 简单 的 语言 。 

具体 地 说 ，MATLAB 运行 时 ， 如 直接 在 命令 行 输入 MATLAB 语句 ， 包 括 调用 M 文件 的 语 


句 ， 就 立即 对 其 进行 处 理 ， 完 成 编译 、 连 接 和 运行 的 全 过 程 。 又 如 ， 将 MAILAB 谣 程 序 纲 插 


[or 


人 
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为 M 文 件 , 由 于 MAILAB 磁盘 文件 也 是 M 文件 ,所 以 编辑 后 的 原文 件 就 可 直接 运行 ， 而 不 需 
进行 编 详 和 连接 。 在 运行 M 文件 时 ， 如 果 有 错 ， 计 算 机 屏幕 上 会 给 出 详细 的 出 错 信 息 ， 用 户 修 
改 后 再 执行 ， 直 到 正确 为 止 。 可 以 说 ，MATLAB 语言 不 仅 是 一 种 语言 ， 而 且 是 一 种 语言 开发 系 
统 ， 即 诸 言 调试 系统 。 

6 高 效 方便 的 矩阵 和 数组 运算 

与 BASIC、FORTRAN、C 语言 一 样 ，MATLAB 语言 规定 了 和 矩 阵 的 算术 运算 符号 、 关 系 运 
和 人 符 写 、 迪 辑 运算 人 符 写 、 和 条件 运 算 人 符号 及 赋值 运算 符号 ， 而 且 这 些 运算 符号 大 部 分 都 可 以 应 用 
于 效 全 间 的 运算 。 为 外 ， 它 不 需要 定义 数组 的 维 数 ， 而 且 可 提供 矩阵 函数 、 特 殊 和 矩阵 专门 的 库 
图 数 ， 使 之 在 求解 诸如 信号 处 理 、 建 模 、 系 统 识 别 、 探 制 、 优 化 等 领域 的 问题 时 ， 显 得 大 为 简 
捷 、 凯 效 、 方 便 ， 这 是 其 他 高 级 语言 不 能 比拟 的 。 在 此 基础 上 ， 高 版 本 的 MATLAB 已 逐步 扩 - 
展 到 科学 及 工程 计算 的 其 他 领域 中 了 。 因 此 ， 不 久 的 将 来 ， 它 绝对 有 可 能 名 副 其 实地 成 为 “万 
能 镍 算式 ”科学 算法 语言 。 

7. 方便 的 绘图 功能 

图 形 和 可 视 化 是 当代 应 用 软件 发 展 的 主要 方向 。 随 着 MATLAB 碑 本 的 不 断 提 高 , MATLAB 
的 图 形 功 能 也 越 来 越 剖 。 人 和 人们 很 难 从 一 大 推 诛 始 离 本 数据 中 感受 到 它们 的 侣 义 ， 但 数据 图 形 恰 
使 人 们 直接 感受 到 数据 的 许多 内 在 本 质 。 因 此 ， 数 据 可 视 化 是 人 们 研究 科学 、 认 识 世 界 不 可 缺 
少 的 手段 。 

MATLAB 的 绘图 十 分 方便 ， 筷 有 一 系列 绘图 畏 数 ， 例 如 线性 坐标 、 对 数 坐 标 、 半 对 数 坐 标 
及 极 坐 标 。 有 用户 只 四 调 用 不 同 的 绘图 函数 ， 在 儿 上 标 出 儿 题 ，X、7 轴 标 注 、 格 〈 概 ) 绘制 也 只 
和 前 调用 相应 的 命令 ， 人 简单 易 行 。 另 外 ， 在 调用 绘图 函数 时 ， 调 整 自 变 量 可 给 出 不 同 颜 色 的 点 、 


2.3 MATLAB 7.2 的 新 特点 


MATILAB 7.2 (2006a) 于 3 月 1 日 正式 友 布 ， 并 在 3 月 3 日 开始 对 客户 出 货 。 在 MAILAB 
R2006a 中 (MATLAB 7.2，Simulink 6.4)， 主 要 更 新 了 10 个 产品 模块 、 增 加 了 多 达 350 个 新 特 
性 、 增 加 了 对 64 位 Windows 的 支持 ， 并 新 推出 了 .net 工具 箱 。 

作为 和 Mathematica、Maple 并 列 的 三 大 数学 软件 ， 其 强项 承 是 其 强大 的 矩阵 计算 及 仿真 能 
力 。 要 知道 MATLAB 的 由 来 就 是 Matrix+Laboratory=MATLAB ， 上 所 以 这 个 软件 在 国内 也 被 称 做 
“所 阵 实验 室 ”。 每 次 MathWorks 发 布 MATLAB 的 同时 也 会 发 布 仿真 工具 Simulink。 在 欧美 ， 
很 多 大 公司 在 将 产品 投入 实际 使 用 之 前 都 会 进行 仿真 试验 ， 他 们 主要 使 用 的 仿真 软件 就 是 
Simulink。.MAILAB 提供 了 目 己 的 编译 占 : 全 面 压 容 C++ 及 FORTRAN 两 大 语言 .所 以 MATLAB 
是 工程 师 、 科 研 工作 者 手 上 最 好 的 语言 、 工 具 和 环境 。MATLAB 已 经 成 为 广大 科研 人 员 最 值得 
依 顿 的 助手 和 朋友 。 

MATLAB 7.2 这 雇 的 升级 做 了 重大 的 增 趾 ， 也 升级 了 以 下 各 上 版本， 提供 了 MATLAB、 
Simulink 的 升级 以 及 其 他 最 新 模 坎 的 升级 。MATLAB 7.2 版 本 不 仅仅 提高 了 产品 质量 ， 同 时 也 
提供 了 用 于 数据 分 林 、 大 规模 建 模 、 固 定点 开发 、 纺 但 等 新 特征 。 

MATLAB 7.2 主要 更 新 的 产品 模块 为 : 

昌 Control System TIoolbox 7 

@ Embedded Jarget tor 工 L C20U0(tm) DoSP 2 


2 
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Embedded Iarget for 工 COUU0U(tm) DoSP 2 
Pinanclal TIoolbox 3 

Link for Modelsimr) 2 

MAITLAB KReport Generataor 3 

Neural Network 1Iooibox > 

lmulink Report Generator 3 

limulink Report Optimlzation 3 

MATLAB 7.2 新 版 本 中 ， 推 出 了 下 面 三 个 新 产品 : 

@ MALLAB Bullder for .net 

人 ImEBlology( 人 14 SP3) 

和 IEvents(R14 SP3) 

其 中 MATLAB Builder for .net 扩展 了 MATLAB Compiler 的 功能 ， 主 要 有 : 

(1) 可 以 打包 MATLAB 函 数 ， 使 网 络 程序 员 可 以 通过 C、VB、.net 等 语言 访问 这 些 函 数 。 

(2) 创建 组 件 来 操持 MATILAB 的 灵活 性 。 

(3) 创建 COM 组 件 。 

(4) 将 源 自 MAILAB 冰 数 的 错误 作为 一 个 标准 的 管理 异 各 来 处 理 。 

MATILAB 7.2 版 本 中 , 产品 模块 进行 了 一 坚 调 整 , MATILAB Builder for COM 的 功能 集成 到 
MATLTLAB Builder for .net 中 ，Einancial Time Series Toolbox 的 功能 集成 到 Financial Toolbox 中 。 
MATILAB 将 高 性 能 的 数值 计算 和 可 视 化 集成 在 一 起 ,并 提供 了 大 量 的 内 凌 明 数 ， 从 而 被 广 沁 地 
应 用 于 科学 计算 、 控 制 系统 、 信 息 处 理 等 领域 的 分 机 、 仿 真 和 设计 工作 中 ， 而 且 利 用 MAILAB 
产品 的 开放 式 结构 ， 可 以 非常 容易 地 对 MATLAB 的 功能 进行 扩充 ， 从 而 在 不 断 深 化 对 问题 认 
识 的 同时 ， 不 断 完善 MATLAB 产品 ， 以 提高 产品 自身 的 竞争 能 

目前 MAILAB 产品 族 可 以 用 来 进行 : 

@ 煞 信 分 析 
数 丛 和 符 气 计算 
工程 与 科学 绘 多 
控制 系统 的 设计 和 仿 其 
数字 疼 像 处 理 
数学 信号 处 理 
通信 系统 故 计 与 仿 其 
财务 与 金融 工程 


2.4 MATLAB 神经 网 络 工具 箱 


2.4.1 MATILAB 6.x 神经 网 络 工具 箱 


MATLAB 神经 网 络 工具 箱 4.0 版 本 是 MathWorks 公司 最 新 推出 的 MATLAB 6.x 高 性 能 可 视 
化 数值 计算 软件 的 组 成 部 分 。 它 主要 针对 神经 网 络 系统 的 分 析 与 设计 ， 提 供 了 大 量 可 供 和 直接 调 
用 的 工具 箱 函 数 、 图 形 用 户 界面 和 Simulink 仿真 工具 ， 是 进行 神经 网 络 系统 分 析 与 设计 的 绝 住 
工具 。 与 以 往 的 MATITLAB 神经 网 络 工 具 箱 相 比 , 神经 网 络 工具 箱 4.0 版 本 出 现 了 许多 新 增 功 能 ， 
使 用 起 来 吏 加 方便 。 这 些 新 增 功 能 主要 包 扰 : 





了 ee 


MATLAB 神经 网 络 仿 真 与 应 用 


@ 宁 增 了 三 个 专门 用 于 基本 神经 网 络 控 制 系统 应 用 与 设计 的 Simulink 模块 : 神经 网 络 预 
测控 制 邵 模 块 、 反 馈线 性 化 控制 器 模块 和 模型 参考 自 适 应 控制 器 模块 ， 极 大 地 方便 了 
基于 从 经 网 络 的 控制 系统 设计 与 仿真 。 

和 改进 并 新 增 了 四 个 神经 网 络 训 练 国 数 : trainb、trainc、trainr、trains， 其 中 trainb 用 于 
批量 式 名 练 ， 其 他 三 个 函数 则 用 于 渐进 式 训 练 。 

@ 握 供 了 人 利 经 网 络 设计 与 仿真 CUI， 使 用 户 能 够 方便 地 通过 图 形 用 户 界 面 进行 神经 网 络 


的 议 计 己 仿 真 。 

@ 改进 的 “ 插 表 堡 止 ”算法 可 以 和 时 斯 正则 化 方法 联合 使 用 ， 从 而 可 以 更 好 地 提高 神经 
网 络 的 推广 或 泛 化 能 

@ 改进 了 线性 神经 网 络 设 计 函 数 newlind， 使 其 能 够 对 多 输入 、 多 输出 的 线性 神经 网 络 
进行 且 接 充填 。 


2.4.2 MATLAB 7.x 神经 网 络 工具 箱 


快速 发 展 的 MAITLAB 软件 为 神经 网 络 理论 的 实现 提供 了 一 种 便利 的 仿真 手段 。MATLAB 
利 经 网 络 工 具 箱 的 出 现 ， 更 加 拓宽 了 神经 网 络 的 应 用 空间 。 神 经 网 络 工 具 箱 将 很 多 原本 需要 手 
动 计算 的 工作 交 给 计算 机 ， 一 方面 提高 了 工作 效率 ， 奶 一 方面 还 提高 了 计算 的 准确 度 和 精度 ， 
城 笃 了 工程 人 员 的 负担 。 

MAILAB R2007 对 应 的 神经 网 络 工 具 箱 的 版 本 与 为 Version $.0.2， 和 它 以 神经 网 络 理论 为 基 
剂 ， 利 用 MAILAB 脚本 语言 构造 出 典型 神经 网 络 的 激活 图 数 ， 如 线性 、 竞 争 性 和 饱和 线性 等 
油 活 函数 ， 使 议 计 痢 对 所 选 定 网 络 输出 的 计算 ， 变 成 对 激活 函数 的 调用 。 另 外 ， 根 据 各 种 典型 
的 修正 网 络 权 值 的 规则 ， 有 再 加 上 网 络 的 训练 过 程 ， 利 用 MATLAB 编写 出 各 种 网 络 设计 和 训练 
的 子 程序 ， 网 络 设计 人 员 可 以 根据 自己 的 需要 去 调用 工具 箱 中 有 关 的 设计 和 训练 程序 ， 将 目 己 
从 和 烦 玉 的 编程 中 解 腕 出 来 ， 集 中 精力 解决 其 他 问题 ， 从 而 提高 了 工作 效率 。 

最 新 版 本 的 神经 网 络 工 具 箱 几乎 涵盖 了 所 有 的 神经 网 络 的 基本 利用 模型 ， 如 感知 器 和 BP 
网 络 等 。 对 于 各 种 不 同 的 网 络 模型 ， 神 经 网 络 工 具 集 成 了 多 种 学 习 算 法 ， 为 用 户 提 供 了 极 大 的 
方便 。 态 外， 该 工 共 箱 中 还 包括 了 大 量 的 污 丰 实例， 有 助 于 初始 尝 痢 加 深 理 解 。 和 所 介绍 的 网 
络 杏 卉 和 实例 可 以 通过 MATILAB 的 帮助 进行 学 习 ， 前 题 是 英语 水 平 要 足够 局 。 如 在 MATILAB 
的 命令 窗口 中 输入 help nnet， 即 可 得 到 神经 网 络 工具 箱 的 有 关 版 本 信息 及 函数 列表 ， 如 : 

>> help nnet | 

Neural Network TIoolbox 
Verslon 4.0.0 (人 14SP3) 260-Jul-2003 
以 下 为 图 数列 表 : 
Graphical user lnterface functions. 
nntool “ - Neural Network TIoolbox graphlical user Interface. 


Analysls functions. 
errsurf  - Error surface of single input neuron， 
maxljnlr - Maximum learning rate for a hnear ]ayer. 
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感知 磺 了 网络 
BP 网 络 
线性 网 络 
径 问 基 上 数 网 络 
动态 网 络 
和 目 组 织 了 映射 和 回 量 量子 化 网 络 
jj， 神经 网 络 工 具 箱 中 提供 的 神经 网 络 模型 主要 应 用 于 : 
信息 处 理 和 预测 
函数 逼近 和 模型 拟 合 
故障 诊断 

@ 神经 网 络 控制 

在 实际 应 用 中 ， 面 对 一 个 有 具体 的 问题 时 ， 首 先 需 要 分 析 利 用 神经 网 络 求解 问题 的 性 质 ， 然 
后 依据 问题 特点 ， 提 取 训 练 和 测试 数据 样本 ， 确 定 网 络 模型 。 最 后 通过 对 网 络 进行 训练 、 仿 真 
等 ， 检 验 网 络 的 性 能 是 售 满 足 要 求 。 下 面 介 绍 有 基体 的 过 程 。 

] ) 网 络 模型 的 确定 

这 主要 是 如 何 根据 问题 的 实际 情况 ， 选 择 模型 的 类 型 、 绪 构 等 。 另 外 ， 还 可 在 典型 网 络 模 
型 的 基础 上 ， 结 合 问题 的 具体 情况 ， 对 忆 网 络 进行 变形 、 扩 充 等 ， 同 时 还 可 以 采用 多 种 网 络 模 
型 的 组 合 形 陈 。 

2 ) 确定 信息 表达 方式 

将 领域 问题 及 其 相应 的 领域 知识 转换 为 网 络 可 以 接受 并 处 理 的 形式 ， 即 将 领域 问题 抽象 为 
适合 于 网 络 求解 所 能 接受 的 某 种 数据 形式 。 尽 管 在 实际 应 用 中 ， 问 题 的 形式 会 是 多 种 多 样 的 ， 
但 不 外 乎 以 下 几 种 情况 : 

@ 数据 样本 已 知 
数据 样本 之 间 相 互 式 系 不 明确 
数据 样本 的 预 处 理 
将 数据 样本 分 为 训练 样本 和 测试 样本 
输入 /输出 模式 为 连续 的 或 痢 离 他 的 

@ 输入 数据 按照 模式 进行 分 类 ， 模 式 可 能 会 共有 平移 、 旋 转 或 伸缩 等 变化 形式 。 

3 ) 训练 模式 的 确定 

确定 训练 模式 包括 选择 合理 的 训练 算法 、 确 定 合适 的 训练 步 数 、 指 定 适 当 的 训练 目标 误 产 ， 
以 获得 较 好 的 网 络 性 能 。 

4) 网 络 参 数 的 选择 

确定 网 络 输入 /输出 神经 元 的 数目 ， 如 果 还 是 多 层 网 络 ， 还 需要 进一步 确定 隐 含 层 神 经 元 的 
个 数 。 对 于 反馈 神经 网 络 ， 如 Hopfield 网 络 和 Elman 网 络 ， 还 需要 进一步 地 设置 反馈 神经 元 的 
有 天 属性 。 

5S) 网 络 测 读 

选择 合理 的 测试 样本 ， 对 网 络 进行 测试 ， 或 者 将 网 络 应 用 于 实际 问题 ， 检 验 岗 络 性 能 ， 仁 得 
指出 的 是 ， 网 络 测试 过 程 需要 遵循 “交叉 测试 ”的 怕 则 ， 保 证 测试 的 有 效 性 、 准 确 性 和 全 耐性 。 

下 面 用 一 个 经 典 的 多 层 前 馈 网 络 解决 XOR 问题 的 例子 对 上 面 的 过 程 做 一 个 简单 的 说 明 。 


本， 神经 网 络 工具 箱 中 捉 供 的 神经 网 络 的 模型 类 型 主要 有 : 


日 
和 
和 @ 
和 
和 @ 
@ 
和 @ 
日 月 
和 
生 
全 





IJ UL JE 


MATLAB 神经 网 络 仿真 与 应 用 


1 ) 输入 和 输出 数据 
>> p=[b01130101 
bb 一 
U b |] ] 
U ] 吕 [ 
>> 全 [1.0.0, 昌 
[一 
0 OU | 


2 ) 网 络 模型 的 确定 
>> Tet=newtt(nnlinmax(p),[2,1 ,ftanslg ,purelin ,trainlm )， 


上 上 面 定 一 个 建立 多 层 责 从 网 络 的 命令 ，[2， 了 分 别 为 隐藏 层 和 输出 层 的 神经 元 数 ，tansig、 
purelin 分 圳 为 隐 蔚 导 和 输出 讨 的 数 友 函数 ，trainlm 为 :种 训练 算法 。 

3 ) 网 络 训 练 和 测试 

[nebtrl=trainnebp,D 网 络 训练 

TRAINLM, Epoch 0/100, MeSE 1.70784/0, Gradlient 6.093S8/1e-010 


TRAINLM, Epoch 3/100, MSE 7.70372e-032/0, Gradient 9.98671e-016/le-010 
TIKAINLM, Minimum gradlent reached, performance goal was not Immet. 


>>a=simnebp) % 用 训练 好 的 net 网 络 仿真 原来 的 输入 和 矩阵 


3 一 
1.0000 “0.0000 0 1.0000 ”多 仿真 的 输出 
从 上 于 盾 的 例子 我 们 可 以 看 出 ， 利 用 MATLAB 神经 网 络 工具 盒 ， 几 个 简单 的 命令 就 可 以 解 
次 ”此 复 薪 的 问题 。 
总 之 ， 神 经 网 络 工 具 箱 是 一 个 内 容 人 全面、 操作 方便 的 软件 包 ， 对 于 广大 神经 网 络 系统 的 研 
友 关 来 说 ， 和 区 握 神 经 网 络 工具 箱 的 应 用 将 使 得 自己 在 工作 中 如 虎 添 吏 。 


2.5 MATLAB 神经 网 络 工具 箱 的 对 象 与 属性 


为 了 便于 谈 考 理解 和 应 用 MAILAB 中 的 神经 网 络 工具 箱 函 数 ,， 首先 介绍 MATLAB 中 定义 
的 神经 网 络 对 象 及 其 属性 。 

在 MAILAB 中 把 定义 的 神经 网 络 看 做 一 个 对 象 ， 对 象 还 包括 - : 些 子 对 象 : 输入 向 量 、 网 
络 层 回 量 、 输 出 回 量 、 目 标 同 量 、 权 信 回 量 和 交 值 问 量 等 ， 这 样 网 络 对 象 和 各 子 对 象 的 属性 共 
同 确定 了 神经 网 络 对 象 的 特性 。 网 络 属 性 除了 只 谍 属 性 外 ， 均 可 以 按照 约定 的 格式 和 属性 值 的 
关 型 进行 设置 、 修 改 、 引 用 等 ， 只 恋 属 性 只 能 引用 。 引 用 格式 为 

网 络 名 . [ 子 对 象 ]. 属性 
例如 ，netnumInputs, net.biasConnect(1), net.inputConnect(1,2), net.inputs{1}.range。 


为 了 说 明 网 络 对 象 、 子 对 象 及 其 属性 , 首先 建 如 图 2-1 和 图 2-2 所 示 的 神经 网 络 netl 和 net2。 





岁 2-1 netl 的 网 络 寞 型 
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D: P 
图 2-2 net2 的 网 络 模型 


任 MATLAB 命令 窗口 中 逐条 执行 以 下 语句 ， 即 可 创建 网 络 netl 和 net2。 


>> bp=[12;-1 1;0 1 
>> netl1=newp(pD;2) 
netl = 
Neubral Network object: 
archltecture: 
numInputs: ] 
numLayers: ] 
biasConnect: | ] | 
InpuUtConnect: 上] 
layerLonnect: [0 
outputLCohnect: |] 
tafgetLConnect: [1 
numGwutputs: ] (read-onjy) 
numiarsgets: ] (read-only ) 
numjnputbDelays: 0 (read-on]y) 
numLayerbDelays:0 (read-only) 
Subobject Structutes: 
Inputs: {1Xl cellj of inputs 
jayers: {1xl ceilj of jayers 
outputs: { 1xl cellj contalining 1 output 
targets: {1xl cellj containing 1 target 
biases: {1xXl celj containing 1 bias 
InputWelghts: {1xl cell} containing 1 Input weilght 
jayerWelights: {1xl celj contalning no 1ayer Weights 
functions: 
adaptPcn: tralngs- 
InitFhcn: Inltlay、 
pertormEFcn: mae 
tralnEFcn: trainc、 
parameters: 
adaptParam: .pasSesS 
InltParam: (none) 
pertofrmParam: (none) 
trainParam: .epochs, .goal, .Show, .tme 


welght and blas values: 
IW: {1xl celul contatming 1 Input welght matrix 


LW: LIxl ce containing no layer welght matrlces 
b: {1Lxl celll contatnineg 1 blas Vector 


other: 
Userdata: (User Stuf) 
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>> net2=newft(-l 1 -1 可 [15 2],{ftanslg purelin ji traingdx 1 
net2 = 
Neural Network object: 
archltecture: 
numjnputs: 】 
numLayers: / 
blasConnect: [ 工 ; ] 
InputConnect: [1; 0] 
layerConnect': [0 0; 1 0] 
outputConnect: [0 
targetConnect': [0 ]] 闻 
numOutputs: ] Gead_ony 
numIargets: 1] (read-only) 
numjnputDejays:0 《read-only) 
numLayerDelays: 0 We 
Suboblject structures: 
inputs: {1xl cell} of inpnuits 
layers: {12X] celj of jayers 
outputs: {1x2 cellj contalning 1 output 
targets: {1x2 cell}j containifig ltarget 
blases: 12x] celjj containing 2 blases 
inputWeights: {2xl cell] containing 1 input weight 罗 
layerWeights: {2x2 cellj containing 1 layer We 1 
functions: 四 加 
adaptFcn: 'trains' 
initFcn: 'initlay 
performEFEcn: mse' 
trainFcn: 'traingdx' 
parameters: 
adaptParam: passes 
initParam: (noney) 
performParam: (nonej) 
trainParam: -epochs， .EOal， 本 .tr dec， 
inc max fail .max _perf_ Inc， mc， 
.min grad， W tme 
”Welght and bias wise 四 
TW: {f2xl cell} Slide 1 Input we matrix 
LW: {2x2 cellj containing layer 呈 介 全 matrx 
b: {2xLl1 Celj contalnlng 过 bias vectors ， 


other: 
本 (aser Stuf 伯 


2.5.1 网络 对 象 属性 


从 上 面 的 创建 函数 newp 和 newff 创建 隐 netl 和 net2 后 的 显示 结果 可 以 看 出 所 定义 的 神经 
网 络 netl 和 net2 的 属性 。 

1. 结构 属性 

结构 属性 决定 了 网 络 子 对 象 的 数目 〈 包 括 输 入 向 量 、 网 络 层 向 量 、 输 出 向 量 、 目 标 同 量 、 
权 值 癌 量 和 浆 值 向 量 的 数目 ) 以 及 它们 的 连接 天 系 。 无 论 何 时 ， 结 构 属 性 值 一 旦 发 生变 化 ， 网 
络 就 会 自动 重新 定义 ， 与 之 相关 的 其 他 属性 值 也 会 目 动 喝 狐 。 

] ) numInputs 属性 

net.numInputs 属性 定义 了 网 络 的 输入 辐 量 数 ， 它 可 以 被 议 半 为 0 或 正 整 数 。 其 全 一 般 在 用 


户 自 定义 网 络 中 才 被 设置 ， 而 由 MAILAB 神经 网 络 工 具 箱 中 的 网 络 定义 图 数 便 建 的 网 络 往往 
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古音 个 网 络 ， 其 输入 回 量 只 有 一 个 。 如 果 用 户 定义 了 - -个 由 多 个 网 络 构成 的 复杂 的 网 络 ， 其 输 


入 辣 星 中 不 止 一 个 ， 而 是 多 个 ; 而 每 个 输入 癌 量 也 可 能 包含 了 多 个 元 素 ， 其 元 素 的 个 数 由 输入 
问 量 的 大 小 〈netinputsfij.size) 决定 ， 所 以 网 络 的 输入 向 量 数 并 不 是 网 络 输入 元 素 〈 变 量 ) 的 
个 数 ， 这 一 点 布 望 引起 读者 的 注意 。 

2 ) nuUmLayers 属性 

net.numLayers 属性 定义 了 网 络 的 层 数 ， 它 可 以 被 设置 为 0 或 正 整 数 。 

例如 上 上 人 显示 结果 中 ，netl.numLayers=1 表示 netl 只 有 一 个 网 络 层 ; net2.numLayers=2 表 
示 net2 有 网 个 网 络 层 。 

net.numLayers 属性 值 一 旦 改变 ， 下 列 与 网 络 层 相关 的 布尔 代数 和 矩阵 的 大 小 都 会 随 之 改变 : 

net.blasConnect 

net.InpuUtConnect 

net.jayerLonnect 

net.OoutputLConnect 

net.target(Connect 

下 刻 导 网 络 层 相关 的 子 对 象 细 胞 矩阵 的 大 小 也 会 随 之 改变 : 

iiet.biasSeas 

net.InputWelghts 

net.jayerYelgths 

net.OUtpUfS 

net.tareets 

下 列 网 络 调整 参数 细胞 趾 阵 的 大 小 也 会 随 之 改变 : 

net. YY 

net.LVV 

net.b 

上 面 手 到 的 细胞 十 阵 〈Cell Array) 的 概念 可 能 对 有 的 读者 比较 陌生 ， 其 实 很 简单 ， 它 将 多 
个 矩阵 癌 量 作 为 细胞 矩阵 的 一 个 “细胞 ”(cell )， 细 胞 矩阵 的 各 个 元 素 值 为 对 应 细胞 的 大 小 和 
数值 类 型 ， 为 区 别 于 矩阵 ， 用 全 表示 细胞 矩阵 。 例 如 ， 设 矩阵 


1 2? 
1 2 1 2 3 
于 
3 4 4 5 6 
5 6 
在 将 &、、c 分 别 作 为 细胞 矩阵 的 一 个 细胞 ， 则 可 以 定义 细胞 抢 阵 严 、 闫 为 
网 加 4 2Xxa double aa 由 |2x2 double|j [ 
125 12x3 double| ”15 ec [2x3 double] [3x2 double] 
可 以 通过 下 标 ， 访 问 细 胞 矩阵 中 各 细胞 的 值 : 


] 2 1] 2 3 
mi=atDra|; mo2)=-a20=6=| 
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] 
1{2.2}1=cC=|3 ,天 t, 2 三 
4 


个 二 II5 


3 ) biasConneect 属性 

net.biasConnect 属性 定义 各 个 网 络 层 是 和 否 具 有 浆 值 向 量 , 其 值 为 WX1l 布尔 型 向 量 (0 或 1)， 
入 为 网 络 层 数 (netnumLayers )。 

可 以 通过 访问 net.biasConnect{i} 的 值 ， 查 看 第 个 网 络 层 是 否 具 有 阔 值 向 量 。 

net.baisConnect 属性 全 一 旦 改 节 ， 则 阔 值 结构 细胞 和 扎 阵 〈net.biases) 和 阅 值 向 量 细 胞 托 阵 
(Cnetb) 将 随 之 改变 。 

4) inputConnect 属性 

net.inputConnect 属性 定义 各 了 网络 层 是 个 共有 来 自 各 输入 辐 量 的 连接 权 ， 其 值 为 MXxANi 的 布 
泉 卉 问 量 人 或 1)，A 为 网 络 层 数 CnetnumLayers )，ANi 为 网 络 输入 癌 量 数 (neLnumInput )。 

可 以 通过 芒 回 netinputConnect(ij) 的 值 ， 查 看 第 关 个 网 络 层 是 否 具 有 来 自 第 7 个 输入 向 黄 的 
连接 权 。 

net.inputConnect 属性 信 一 旦 改变 ， 输 入 层 权 值 结构 细胞 第 阵 〈net.inputWeights) 和 权 值 向 
攻 细 胞 矩阵 (netIW) 将 随 之 改变 。 

S$) layerConnect 记性 

net.]ayerConnect 属性 定义 一 个 网 络 层 是 否 具 有 来 自 另 外 一 个 网 络 层 的 连接 权 ， 其 值 为 
AN 关 入 的 布尔 型 辣 量 00 或 1)， 人 为 网 络 层 数 《netnumLaypers )。 

可 以 通过 访问 netlayerConnect(ij) 的 值 ， 查 看 第 个 网 络 层 是 否 具 有 来 自 第 /个 网 络 层 的 连 
蒂 权 。 例 如 ， 在 上 上 节 显 示 结 果 中 ，netl.layperConnect=[0] 和 net2.layerConnect=[0 0;，， 1 0]， 说 明 
netl 叭 -一 的 一 个 网 络 层 没 有 来 目 本 层 的 连接 权 ( 即 无 层 内 连接 ); net2 的 第 二 个 网 络 层 具有 来 自 
溃 一 个 网 络 层 的 连接 权 ， 而 第 一 个 网 络 层 没有 来 自 第 一 个 网 络 层 的 连接 权 〈 即 无 反馈 )， 各 网 
络 层 也 浅 有 来 目 本 层 的 连接 权 《〈 无 层 内 连接 )。 

net.l]ayerComnnect 属性 伍 一 旦 改变 ， 网 络 层 权 值 结构 细胞 窍 阵 〈netlayerWeights) 和 网 络 层 
权 伍 癌 量 细胞 和 阵 (Cnet.JW ) 将 随 之 改变 。 

6 ) outputConnect 属性 

net.outputConnect 属性 定义 各 网 络 导 是否 作 为 输出 层 , 其 值 为 1XAN 的 布尔 型 向量 (0 或 1 )， 
六 为 网 络 层 数 (net.numLayers )。 

可 以 迎 过 访问 netoutputConnect(D) 的 但 ， 丛 看 第 工人 个 网 络 层 是 徊 作为 输出 层 。 例 如 在 上 节 显 
小 络 束 中 ，netl.outputConnect=[1] 和 net2.outputConnect=[0 1]， 说 明 netl 唯一 的 一 个 网 络 层 也 为 
稍 出 计 ，net2 的 囊 一 个 网 络 层 为 输出 层 ， 而 第 一 个 网 络 层 不 作 输 出 层 。 

net.outputConnect 属性 值 - : 旦 改 芝 ， 网 络 层 输出 层 的 数目 (netnumOutputs ) 和 输出 层 结构 
组 胞 生 阵 (Cnetoutputs) 将 随 之 改变 。 

7 ) targetConnect 属性 

net.targetConnect 属性 定义 各 网 络 层 是 否 和 目标 同 量 有 关 ， 其 值 为 1XAN 的 布尔 型 癌 量 
或 1)，A 为 网 络 层 数 (net.numLayers )。 

可 以 通过 访问 nettargetConnect(G) 的 全 ， 码 看 第 :个 网 络 层 是 否 和 目标 癌 量 有 关 。 例 如 在 上 
世 显 示 结 果 中 ，netl.targetConnect=[1 和 netl.outputConnect=[0 1]]， 说 明 netl 唯一 的 :个 网 络 尽 
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和 上 月 标 问 量 有 天; net2 的 第 二 个 网 络 层 和 目标 癌 量 有 关 ， 而 第 一 个 网 络 层 和 目标 向 量 没 有 关系 。 
8 ) numTarsets 属性 (只 读 ) 


netnumTarsgets 属性 值 为 目标 回 量 的 数 日 ， 它 等 于 targetConnect 和 矩阵 中 元 素 值 为 True 的 个 
数 之 和 ， 即 


num iargets=sum(net.targetConnect) 
9) numOutputs 属性 (只 读 ) 


net.numOutputs， 议 属性 人 为 输出 同 量 的 数 日 ， 它 等 于 outputConnect 符 阵 中 元 素 值 为 1 
(True) 的 个 效 乙 和 ， 即 


numOutputs=sum(net.OoutputConnect) 
10 ) numInputDelays 属性 (只 读 ) 


入 相连 搂 的 权 值 延 久 量 的 最 大 值 ， 印 
numjnputbDelays=(U; 
tor I=1:net.numLayers 
for 1=1:net.numInpPuts 
tf net.InPputConnect(1,]) 
numlnputbDelays=maXx(,.… 


netnumInputDelays 属性 定义 进行 网 络 仿 趴 时 输入 回 量 的 延迟 量 。 其 值 总 是 设置 为 与 网 络 输 


[numlnputbelays net.InputWw elghts{l]}1.delays|]); 
end 
end 
end 


例如 在 和 站 显示 结果 中 ，netL.numTargets 和 net2.numTargets 均 为 0， 说 明 输 入 回 量 励 延 马 
11 ) numLayerDelays 属性 (只 读 ) 


netnumLayerDelays 属性 定义 进行 网 络 仿真 时 网络 层 输 出 单元 的 延迟 量 。 其 值 总 是 说 置 为 
与 网 络 层 相连 接 的 权 值 延 迟 量 的 最 大 值 ， 即 
nuUmLayperDelays=0; 
for 1= 1:net.numLayers 
for ]=1:net.nUmLayers 
inet.jayerConnect(0j) 
numlLayerDelays=max(.… 


[namlLayerDelays netlayeryelghts11l,]j.delays]); 
end 
end 
end 
例如 在 上 上 他 显 示 结 果 中 ，netl.numTargets 和 net2.numTargets 均 为 0， 说 明 网 络 层 输出 单元 
无 延 开 。 


2. 子 对 象 结 构 属 性 


子 对 象 结构 属性 定义 了 下 列 细 胞 阵 : 每 个 网 络 的 输入 同 量 结构 、 网 络 层 结构 、 输 出 问 量 
结构 、 旧 标 回 量 结 构 、 国 值 回 量 结 构 和 权 值 同 量 结构 细胞 起 阵 。 
1 ) inputs 属性 【输入 层 结 构 ) 


net.inputs 属性 定义 网 络 输 入 问 量 的 结构 ， 其 值 为 天 于 网 络 各 输入 回 量 绪 构 的 细胞 末 孟 ， 六 
小 为 NiX1，Ni 为 输入 回 量 数 (netnumInputs )。 


例如 在 上 节 显 示 结 果 中 ，netl.inputs 和 net2.inputs 均 为 {L1xlcell， 说 明 网 络 得 入 问 量 的 疆 
构 是 1X1 的 细胞 矩阵 ， 即 只 有 一 个 输入 同和 草 
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net].Inputs=net2.Inputs={[1x1struct|]} 


每 个 输入 问 量 的 属性 结构 可 以 通过 net,inputs{ 计 进行 访问 。 例 如 在 上 节 显 示 结 果 中 


range:|3Xxz double|] 
net1.Inputsf{]j= S17Ze:3 


USserdata:|1xlstruct| 


range:[2x2 double|] 
net2.Inputs{j= SIZE:< 
Userdata:|1xj1lstruct| 


每 个 输入 回 量 的 属性 仁 ， 可 以 通过 
net.inputs{fi}. 属 性 名 
进行 态 问 。 例 如 
] 


2 
netli.Inputs{]jrange=|-l1 1] 
U 1 


2 ) layers 属性 
net.layers 属性 定义 各 网 络 层 的 结构 特性 ， 其 值 为 关于 网 络 层 结构 的 细胞 搜 阵 ， 大 小 为 WX 1， 
AN 为 网 络 层 数 (netnumLayers )。 
例如 在 上 丰 显示 结 未 中 ，netllayers 为 {1X1celj， 说 明 网络 层 结构 是 1X 1 的 细胞 矩阵 ， 即 只 
有 一 个 网 络 属 ; nef2.layers 为 {2X1lcell}j， 说 明 网 络 层 结构 是 2X 1 的 细胞 和 矩阵， 即 有 两 个 网 络 层 
netl.layeg ={LLxlstruct|]} 


]xlstruct 
net2.l1ayers = | | 


[1xlstruct| 
每 个 网 络 层 的 结构 属性 可 以 通过 net.layers{jj 访 问 。 例 如 


dimenslons:2 
distanceEcn: 
distances:| ] 
InitFhcn: Initwb 
netInputFcn: netsum 
netl.layers{ 寺 = 要 
positions:|0 了 
S1Ze:2 
topologyFcn: hextop 
transferFcn: hardlhnm 


userdata:|1x1 struct | 


每 个 网 络 层 的 结构 属性 值 ， 可 以 通过 
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net.layers{i}. 属 性 名 
访问 。 例 如 
net]1 .jayper{ .transferFcn=hardjim 
3 ) outputs 属性 
net.outputs 属性 定义 各 网络 层 作 为 输出 同 量 的 结构 特性 ， 其 值 为 关于 输出 向 量 结构 的 细胞 
息 孟 ， 大 小 为 NMWMX1， AMN 为 网 络 层 数 (netnumLayers ) 。 
每 个 竹 出 同 星 的 绪 构 属性 可 以 通过 net.outputs{i} 访 问 。 例 如 


S1Ze:2 
net1.outputs{dj}= 
Userdata:1 xl struct| 


每 个 得 出 癌 量 的 纺 构 属性 伍 ， 可 以 通过 

net.outputs 人 1} .属性 名 
访问 。 例 如 

net1.outputs{ ] } .SIiZe=2 


4 ) targets 属性 
net.targets 属性 定义 各 网 络 层 目标 同 量 的 结构 特性 ， 其 值 为 天 于 目标 回 量 结构 的 细胞 抢 阵 ， 
大 小 为 全 xl1， 人 为 网 络 质 数 (netnumLayers )。 


S1Ze:< 
net2.targetst2|= 
每 个 目标 同 量 的 结构 属性 信 ， 可 以 通过 
net.targets{ij. 属 性 名 
访问 。 例 如 
net2.targets{t 2 .SIZe=2 
$ ) biases 属性 
net.biases 属性 定义 各 网 络 层 痪 信 癌 量 的 结构 特性 ， 其 人 为 天 于 立 人 网 量 绽 构 的 细胞 定 阵 ， 
大 小 为 NX1， AM 为 网 络 层 数 〈netnumLayers )。 
例如 在 上 节 显 示 结 果 中 ，netl.biases 为 {1X1celll containing 1 bias， 说 明 浆 值 回 量 结构 是 
1X1 的 细胞 第 阵 ， 只 有 一 个 国 值 问 量 ; net2.layers 为 1{2X1L cellj containing 2 biases， 说 明 上 值 回 
量 结构 是 2x1 的 细胞 算 阵 ， 即 有 两 个 网 络 层 ， 部 具有 有效 但 同 量 


netj .biases=1 X] struct]| 


[1x1 | 


net2.blases= 
|1x1l struct | 


每 个 网 络 层 浆 值 癌 量 的 结构 属性 可 以 通过 net.biases{ij 态 问 。 例 如 
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InlitFEcn 
learn :1] 
jearnFcn :learngdm 
net2.blases12 上 = 
learnParam :|1xlstruct| 
Sl1Ze : 2 


userdata :|1xlstruct| 


每 个 阅 值 向 量 的 结构 属性 值 ， 可 以 通过 
net.bjases{i} .属性 名 
访问 。 例 如 
net2.blases{21.jearnFcn=jearngdm 

6 ) inputWeights 属性 

net.inputWeights 属性 定义 输入 层 权 值 回 量 的 结构 特性 ， 其 全 为 天 于 输入 层 权 但 回 量 结 构 的 
细胞 矩阵 ， 大 小 为 WXAN，ANI 为 网 络 层 数 (netnumLayers )，ANi 为 输入 同 量 数 CnetnumJInputs )。 

例如 在 上 : 节 显 示 结 果 中 ，netl.inputWeights 为 {1X1cell} containing 1 input weight， 说 明 输 
入 层 的 权 值 癌 量 续 构 是 1X1l 的 细胞 年 阵 ， 只 有 一 个 输入 层 权 值 网 量 ; net2.layers 为 {12X1 cell} 
containing 1] input weights， 说 明 国 全 辣 量 绪 构 是 2X1l 的 细胞 十 阵 ， 即 有 网 个 网 络 层 ， 但 只 有 一 
个 输入 技 权 但 回 量 


netl.Inputyelghts ={1LLxlstruct|| 


|1xlstruct| 
net2.InputWwelghts 三 


可 以 通过 访问 netinputWeights{ij}， 了 解 从 种 个 输入 回 量 连接 到 第 工 个 网 络 技 的 结构 属性 。 
例如 


delavs :0 
ImnlitFhcn 
learn :] 
learnFcn : learngdm 
net2.InputWelghts{ 1 ,1 = 
learnParam :1xlstruct| 
Slze:|12 2| 

Userdata :|1x1lstruct| 


welghtFcn : dotprod 
每 个 输入 层 权 值 向 量 的 结构 属性 值 ， 可 以 通过 
net.inputWeights{i,j)}. 属 性 名 
访问 ， 例 如 
net2.I1nputWelghts{ 1 ,1 learnFcn=learngdm 
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7 ) layerWeights 属性 

net.layerWeights 属性 定义 各 网 络 层 权 值 向 量 的 结构 特性 ， 其 值 为 关于 各 网 络 层 权 值 问 量 结 
构 的 细胞 窍 阵 ， 大 小 为 NxAN，MN 为 网 络 层 数 (CnetnumLayers )。 

例如 在 上 入 显 示 结 果 中 ，aetl.layerWeights 为 {1X1 cellj containing no layer weights， 说 明 网 
络 层 的 权 值 癌 量 结构 是 1X1I 的 细胞 是 阵 , 但 疫 有 网 络 层 权 值 同 量 ;net2.layerWeights 为 12x2 celh 
containing 1 layer weight， 说 明 网 络 层 权 便 问 量 结构 是 2X2 的 细胞 定 阵 ， 即 有 两 个 网 络 层 ， 但 
只 有 -一 个 网 络 层 权 值 向 量 


net1.ljayeryeights ={ 全] 


net2.layer Welights = 1 
[1xlstructj 避 


net2.layerWeight{2,1} 不 为 空 值 ， 说 明 有 第 1 网 络 层 到 第 2 网 络 层 的 权 值 回 量 。 网 络 层 权 值 向 量 
的 结构 属性 可 以 由 netlayerWeights{fij} 查 看 。 例 如 


dejlays :0 
inlitFcn : 
jearn :| 

jearnFcn : jearmgdm 
net2.JayerWeights{2 小 } = 
learnParam :|1x1l1struct] 

Size:[2 13] 

userdata :|1x1Lstruct ] 


welghtFcn : dotprod 


每 个 网 络 层 权 值 向 量 的 结构 属性 值 ， 可 以 通过 
net.layerWeights{ij} .属性 名 
访问 。 例 如 
net2.1ayerWelghts{t2,1 jlearnFcn=learngdnm 

函数 属性 定义 了 一 个 网 络 在 进行 权 值 / 半 值 调整 、 初 始 化 、 误 差 性 能 计算 或 训练 时 采用 的 算法 。 

1 ) initFcn 属性 

net.initFcn 属性 定义 了 网 络 初始 化 权 值 / 阔 值 癌 量 时 所 采用 的 函数 ， 和 它 可 以 被 设置 为 任意 一 
个 进行 网 络 权 值 / 国 值 初 始 化 的 函数 名 ， 包 括 initlay (网络 层 初始 化 图 数 ) 工具 箱 毅 数 。 

init 函数 一 旦 被 调用 ， 就 可 以 实现 网 络 权 信 / 国 值 的 初始 化 : 

net=lnlt(net) 

另外 ， 用 户 可 以 自 定义 权 值 / 阐 值 初始 化 函数 。 

init 属性 值 一 旦 发 生变 化 ， 网 络 的 初始 化 参数 CnetinitParam) 将 被 设置 为 新 的 急 始 化 函数 
所 包含 的 参数 及 其 于 认 参数 但 。 
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2 ) adaptFcn 属性 

net.adaptFcn 属性 定义 了 网 络 进行 权 值 / 国 值 调整 所 采用 的 函数 ， 它 可 以 被 设置 为 任意 一 个 
进行 权 值 / 团 值 调整 的 图 数 名 ， 包 括 trains 函数 。 

adapt 困 数 一 旦 被 调用 ， 就 可 以 实现 网 络 权 值 / 赣 值 的 调整 

[net 1 于, PP Afl=adapt(NET, P 工 Pi, Ai) 

万 外 ， 有 用户 可 以 目 定 义 权 值 / 阔 值 调整 函数 。 

adaptEFcn 属性 住 一 旦 肥 生 变化 ， 网 络 的 调整 参数 (netadaptParam) 将 被 设置 为 新 的 调整 函 
数 所 包含 的 参数 及 其 默认 参数 值 。 

3 ) performFcn 属性 

net.performFEcn 属性 定义 了 网 络 用 于 衡量 网 络 性 能 所 采用 的 函数 , 它 可 以 被 设置 为 任意 一 个 
网 络 性 能 图 数 名 ，MATLAB 工具 箱 误 差 性 能 函数 如 表 2-1 所 示 。 


表 2-1 MATLAB 工具 箱 误 羡 性 能 函数 


图 效 名 说 了 明 
mae 绝对 平均 误 兰 性 能 图 数 (mean absolute error) 
mISe 均 方 误 旗 性能 国 数 (mean Squared error) 
msereg 妆 -化 均 方 误 鞭 性 能 函数 (mean squared error with regularization) 
SSc 平方 和 亿 差 性 能 遇 数 (sum squared error) 


当 雷 用 train 图 数 时 ， 上 上述 性 能 函数 家用 于 训练 过 程 中 的 性 能 计算 
[net, tr|=traln(NETL P 工 PI, AT) 
国外， 用户 可 以 目 定 义 性 能 轴 数 。 
performFcn 属性 值 一 旦 到 生变 化 ， 网 络 性 能 参数 (net.performParam ) 将 被 设置 为 新 的 性 能 
虽 数 所 包含 的 参数 及 其 默认 参数 介 。 
4) trainFcn 属性 
net.trainFcn 属性 定义 了 网 络 用 于 训练 网 络 性 能 所 采用 的 函数 ， 它 可 以 被 设置 为 任意 一 个 训 


练 图 数 名 ，MAITLAB 工具 箱 的 训练 图 数 如 表 2-2 所 丰 。 


表 2-2 MATLAB 工具 箱 的 训练 函数 


琐 数 名 说 明 
trainbfg BFGS 算法 ( 拟 牛 顿 反 四 传播 算法 ) 训 练 范 数 
trainbr 页 叶 斯 归 一 化 法 训练 师 数 
traincgb Powell-Beale 共 斩 磋 度 反 向 传播 算法 训练 双 数 
traincgf Fletcher-Powell 变 梯度 反 辐 传播 算法 训练 亢 数 
traincgp Polak-Ribiere 变 梯 度 反 装 传 播 算法 训练 函数 
traingd 梯度 下 降 反 向 传播 算法 训练 男 数 
traingda 白 适 应 调整 学 习 率 的 梯度 下 降 反 向 传播 算法 训练 函数 
traingdm 附加 动量 因子 的 椰 度 下 降 反 门 传 播 算 竺 训练 困 数 
traingdx 目 适 应 调整 学 习 率 并 附加 动量 因子 的 梯度 下 降 反 向 传播 算法 训练 函数 


trainlm Levenberg-Marquardt 肥 问 传播 筑 法 训练 困 数 
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续 表 


果 数 名 说 明 
trainoss OSS(one-step secan0 反 问 传 播 算法 训练 函数 
trainTp RPROP( 阐 性 BP 算法 ) 肥 向 传播 算法 训练 函数 
trainscg SCG(scaled conjugate gradienaft) 反 疝 传 播 算法 训练 函数 
trianb 以 权 值 / 环 伍 的 学 习 规 则 及 用 批 处 理 的 方式 进行 训练 的 函数 
trainc 以 学 习 图 数 依 次 对 输入 样本 进行 训练 的 函数 
trainr 以 学 习 函 数 随 机 对 输入 样本 进行 训练 的 函数 


当 调 用 train 函数 时 ， 上 述 训练 图 数 被 用 于 训练 网 络 
[net, trl=tralin(NET P 工 PP, AD 

另外 ， 用 己 可 以 目 定 义 训练 国 数 。 

trainFcn 属性 值 一 旦 发 生变 化 ， 网 络 训练 参数 〈nettrainParamy) 将 和 锌 设置 为 新 的 训练 图 数 所 
包含 的 参数 及 其 默认 参数 人 。 

4. 权 值 和 阔 值 

权 值 禾 值 属 性 定义 了 网 络 的 可 调整 参数 : 权 值 问 量 和 交 信 癌 量 。 

1 ) IW 属性 

net.IW 属性 定义 从 网 络 输入 向 量 到 网 络 层 的 权 值 向 量 〈 即 输入 层 的 权 值 同 量 ) 结构 。 其 但 
为 NXANi 的 细胞 矩阵 ，N 为 网 络 层 数 (netnumLayers)，ANi 为 输入 回 量 数 (netnumInputs)。 例 
如 上 节 显 示 结 果 中 ，netl.ITW 为 {T1X1l cellj containing 1 input weight matrix， 说 明 输 入 层 的 权 值 
问 量 结构 是 1X1 的 细胞 定 阵 ， 有 一 个 输入 层 权 但 回 量 ;，net2.IW 为 12x1cellj containing 1] input 
weisght matrix， 说 明和 输入 层 的 权 值 向 量 结构 是 2X1 的 细胞 和 矩阵, 有 一 个 输入 层 权 全 网 量 。net.ITW 
的 元 素 值 说 明了 各 输入 层 权 值 回 量 的 结构 和 数 伍 尖 型 


netl1.IW ={1[2x3doulbe|]| 
[19X2 | 


net2.[W = | 
| 


通过 访问 net.IW{1ij}， 可 以 获得 第 ;个 网 络 层 来 自 第 /个 输入 同 量 的 权 全 加 量 但 。 例 如 


OUO0 0 
netl1.IW1L1L = 
OU DO 


2) b 属性 

net.b 属性 定义 各 网 络 层 的 阀 值 向 量 结 构 。 其 值 为 NX1l 的 细胞 窍 阵 ，A 为 网 络 层 数 
(CnetnumLayers)。 例 如 在 上 一 节 显 示 结 果 中 ，netl.b 为 {1X1cell containing 1 bias vector， 说 时 
国 值 向 量 结构 是 1X1 的 细胞 宅 阵 ， 有 :一 个 国信 问 量 ，net2.p 为 12X1 cell}j containing 2 blas 
vectors， 说 明 阔 值 向 量 结构 是 2X2 的 细胞 和 矩阵， 含有 两 个 闪 值 向 量 。netb 的 元 素 值 说 明了 各 
网 络 层 阔 值 问 量 的 结构 和 数 信 类 王 


ne 
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net1.b={[2xldouble]| 
[1$x1 四 


net2.b 一 
| [2xldoubljle| 


通过 访问 netb{ilj， 可 以 获得 第 i 个 网 络 层 浆 值 向 量 。 

3 ) LW 属性 

net.LW 属性 定义 从 一 个 网 络 层 到 丈 一 个 网 络 层 的 权 值 向 量 结 构 。 其 值 为 MXxANi 的 细胞 算 
阵 ，A 为 网 络 层 数 。 例 如 在 上 节 显 示 结 果 中 ，netl.LW 为 {1X1 cellj containing no layer Welsght 
matrices， 说 明 网 络 层 的 权 值 向 量 结构 是 1X1 的 细胞 矩阵， 但 没有 网 络 层 之 间 的 权 值 向 量 ; 
net2.IW 为 {2X2 cellj containing 1 layer weight matrix， 说 明 输 入 层 的 权 值 向 量 结构 是 2X2 的 细 
胞 矩阵 ， 售 有 一 个 网 络 层 之 间 的 连接 权 值 癌 量 。netl.LW 的 元 素 值 说 明了 各 网 络 层 权 值 向 量 的 
结构 和 数 人 类 型 


netl.LW =![]} 


net2.LW = | | 
[2x13 double] 


只 有 netLW{2,1} 不 为 空 全， 说 明 只 有 第 2 网 络 层 来 自 第 1 网 络 层 的 权 什 同 量 。 

通过 访问 net.LW{j}， 可 以 获得 第 个 网 络 层 来 是 第 六 个 网 络 层 的 权 值 同 量 值 。 

5 参 效 属性 

] ) adaptParam 属性 

net.adaptParam 属性 定义 当前 网 络 权 值 / 国 值 调整 鲜 数 的 参数 及 参数 仁 ， 它 取决 于 当前 的 权 
值 / 国 全 调整 图 数 〈netadaptFcn)， 可 以 个 看 有 天 调整 斋 数 的 禄 助 获得 这 些 参数 及 参数 全 。 在 
MAILAB 的 命令 窗口 输入 命令 

help(net.adaptFcn) 

也 可 以 获得 这 些 参 数 及 参数 全 的 具体 搞 述 。 

2 ) initParam 属性 

netinitParam 属性 定义 当前 初始 化 函数 参数 及 参数 值 ， 它 取决 于 当前 的 急 始 化 图 数 CnetinitFcn )， 
可 以 查看 有 关 初始 化 函数 的 帮助 获得 这 些 参数 及 参数 值 。 在 MATLAEB 命令 窗口 输入 命令 

helpGnet.InitFcny) 

也 可 以 获得 这 些 参数 及 参数 值 的 具体 描述 。 

3 ) performParam 属性 

net.performParam 属性 定义 当前 性 能 函数 的 参数 及 参数 什 ， 它 取决 于 当前 的 性 能 函数 
(net.performFcn)， 可 以 查看 有 天 性 能 函数 的 带 助 煞 得 这 些 参数 及 参数 伍 。 在 MAILAB 命令 窗 
口中 输入 命令 

help(net.pertormFecny) 

也 可 以 获得 这 些 参数 及 参数 值 的 具体 描述 。 

4) trainParam 属性 

net.trainParam 属性 定义 当前 训练 函数 的 参数 及 参数 全 , 取 次 于 当前 的 训练 用 数 Cnet'trainFcn )， 
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可 以 查看 有 关 训 练 函数 的 帮助 获得 这 些 参数 及 参数 值 。 在 MATLAB 命令 窗口 输入 命令 
help(net.tralnFcn) 

也 可 以 族 得 这 上 绎 参数 及 参数 值 的 具体 摘 述 。 

6. 其 他 属性 

Userdata 属性 

net.userdata 属性 为 用 户 提供 了 增加 关于 网 络 对 象 的 用 户 信息 的 地 方 ， 它 预先 只 定义 了 一 个 
字段 ， 其 但 为 - :个 提示 信息 

net.USerdata=note: Put your cuUstom network lnformation here 


用 户 可 以 通过 修改 net.userdata.note 的 值 ， 增 加 冯 于 网 络 对 象 的 用 户 信息 。 
2.$.2 “ 子 对 象 属性 


1， 输入 回 量 
net.inputs， 蒋 子 对 象 的 属性 诈 细 定义 了 了 网络 的 每 个 输入 回 量 的 每 一 个 输入 量 。 例 如 
net1.Iinputs=net2.inputs={ 信 1T 关 1 struct]|} 
通过 访问 netinputs{i 计 可 以 获得 第 :个 输入 同 量 的 属性 值 


range :[3x2 double] 
net1.Inputs{t | = S17Ze :3 

Userdata :|[1xlstruct| 

range :[2x2 double| 
net2.Inputs!{ 1 } = SIZe :2 


Userdata :|1x1lastruct| 


1 ) range 属性 

net.inputs{fij.range 定 义 了 第 1 个 输入 回 量 中 每 个 元 素 的 取 值 范围 ,其 值 是 一 个 RX2 的 起 阵 ， 
尺 为 输入 回 量 的 元 素 个 数 。 趣 阵 的 第 一 列 为 每 个 元 素 的 最 小 值 ， 第 二 列 为 每 个 元 素 的 最 大 什 。 
它 包 含 了 两 个 信息 : 输入 问 量 尽 的 元 素 个 数 《〈 亦 即 输入 杰 量 的 个 数 );， 多 每 个 输入 变量 的 取 
值 区 间 。 这 些 信 息 确 定 了 输入 回 量 的 规模 ， 另 外 range 属性 值 还 用 于 在 一 些 初 始 化 函数 中 确定 
连接 输入 回 量 的 权 值 和 国人 的 初 人 。 

4 net.inputs{ij.range 的 行 数 变 化 时 ， 表 明 输 入 回 量 的 元 素数 目 发 生 了 改变 ， 那 么 网 络 输入 
问 量 的 size 属性 值 (netinputs{fij.size)、 与 乙 相 连接 的 权 值 的 size 属性 值 (netinpnut 
Weights{f: ,1j.Size) 及 和 输入 权 值 回 量 CnetIW1{: ,i 计 )》 的 大 小 的 会 目 动作 相应 的 变化 。 

2 ) Size 属性 

Net.inputs{fi}j.size 定义 了 网 络 各 输入 回 量 的 元 素数 目 ,， 可 被 设置 为 0 或 正 整 数 。 当 其 值 友 生 
变化 时 ， 表 明 输 入 向 量 的 元 素数 目 发 生 了 变化 ， 那 么 相应 的 range 属性 值 Cnet.inputs{ij.range )、 
与 之 相连 接 的 权 值 的 size 属性 值 Cnet.inputWeights(:, D).size) 及 输入 权 值 回 量 Cnet.TIW {:, 1.size ) 
的 大 小 均 会 目 动作 相应 的 变化 。 

3 ) userdata 属性 

net.inputs{i}.userdata 和 net.userdata 为 用 户 提 供 了 增加 关于 输入 同 量 的 用 户 信息 的 地 方 , 和 瑟 
预先 只 定义 了 一 个 字段 ， 其 值 为 一 个 提示 信息 。 
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net.Iinputs{flj.userdata=note:Put your custom input information here. 

用 户 可 以 通过 修改 netinputs{ij.userdatanote 的 值 ， 增 加 关于 输入 向 量 的 用 户 信息 。 
2， 网络 层 
net.]ayers， 妈 子 对 象 的 属性 详细 定义 了 网 络 的 每 - -个 网 络 层 。 例 如 


neftl.layers ={[1xjlstruct]|} 


[1x1] 四 


net2.iayers 三 
[1x lstructj 


通过 访问 netlayers{i}j 可 以 获得 第 守 个 网 络 层 的 属性 值 


dmenslions : 2 
distanceFcn : 
distances : |[] 
InitFcn : inltwb: 
netl.ljayers{ 1 } 一 En : ietsurn' 

poSltlons :{[b 菇 
S1Ze :2 
topologyFcn : hextop 
transferFhcn : hardlmn 


Userdata :|1Lx1lastruct| 


dimenslions :二 
dlstanceFcn : 
dlistances : [] 
initFcn : "initwb， 
net2.1ayersf21 一 和 netsum 
posltlons :[0 ] 
SiZe :2 
topologyEFcn : hextopP 
transferFcn : "purelin， 


Userdata :[1]x1lastructj 


1 ) dimensions 属性 

netlayers{ij.dimensions 属性 定义 了 第 个 网 络 层 神经 元 的 维 数 。 对 于 目 组 织 轴 射 的 多 维 方 
式 ， 能 够 设置 网 络 层 的 神经 元 维 数 是 很 重要 的 。net.layers{fij.dimensions 可 以 被 设置 成 听 有 元 素 
的 信 为 0 或 正 整 数 的 行 回 量 ， 此 时 ， 行 回 量 所 有 元 素 的 乘积 即 为 该 网 络 层 的 神经 元 数 。 


(Cnet.layers{fi}.positions) 时 ， 将 用 到 网 络 层 神经 元 维 数 。 
net.ljayersfji}.dimensions 属性 一 有 旦 改变 ， 网 络 层 的 大 小 〈net.layers{fil.size)、 网 络 技 神 经 元 
的 位 置 (net.layesfi}j.positions) 以 及 两 个 神经 元 之 轩 的 距离 (net.layersfj}.distances) 都 会 随 之 
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2 ) distanceFcn 属性 

net.layers{fij.distanceFcn， 诅 属性 定义 一 图 数 ， 用 于 第 个 网 络 层 中 的 神经 元 之 间距 离 的 计 
算 ， 它 是 根据 神经 元 的 位 置 (netlayers{ij.positions) 来 进行 计算 的 。 神 经 元 的 距离 用 于 自 组 织 
陋 射 神 经 网 络 。 

该 属性 可 极 姑 置 成 神经 网 络 工具 箱 中 的 任意 一 个 距离 图 数 名 〈 上 距离 计算 图 数 见 表 2-3 )。 


表 2-3 MATLAB 神经 网 络 工具 箱 的 距离 计算 函数 


函 数 说 了 明 
boxdist 计算 两 个 位 置 向 量 之 间距 离 的 距离 图 数 
dist 欧 几 里 得 (Euclidean) 距 离 权 值 数 
linkdist 连接 距离 函数 
mandist 曼哈顿 (Manhattan) 距 离 权 值 国 数 


除了 以 上 距离 函数 外 ， 用 户 还 可 以 目 定 义 距 离 图 数 ， 相 关内 容 读者 可 以 参考 相关 文献 。 

net.layers{fij.distanceFcn 属性 一 旦 发 生 改 变 ， 网 络 层 神经 元 之 间 的 距离 〈netlayers 
{ij.distances)》 也 将 随 之 改变 。 

3 ) initFcn 属性 

net.layers{fi}.initFcn， 如 果 网 络 初始 化 函数 〈netinitFcn) 设置 为 initlay， 则 属 性 定义 第 
个 网 络 层 的 仍 始 化 函数 。 

该 属性 可 被 设置 为 任意 一 个 神经 网 络 工具 箱 中 的 网 络 层 急 始 化 函数 名 《网 络 层 急 始 化 函数 
见 表 2-4)。 

表 2-4 MATLAB 神经 网 络 工 具 箱 的 网 络 层 初 始 化 函数 


函数 说 了 明 
initnw NW(Nguyen-Window) 网 络 层 初始 化 函数 
initwb 通过 权 值 和 疝 值 进行 初始 化 的 网 络 层 官 始 化 却 数 


如 果 网 络 初始 化 函数 设置 为 initlay， 那 么 ， 当 init 函数 被 调用 时 ， 该 属性 定义 的 网 络 层 初 

始 化 函数 将 用 于 对 网 络 层 的 权 值 和 浆 什 的 急 始 化 
net=lnlit(net) 

除了 以 上 网 络 层 初始 化 图 数 之 外 ， 有 用户 还 可 以 目 定 义 网 络 层 初始 化 图 数 。 

4) distances 属性 (只 读 ) 

net.layers{ij.distances， 该 属性 定义 第 工 个 网 络 层 中 神经 元 之 间 的 距离 ， 这 些 距 离 用 于 目 组 
织 映 射 神经 网 络 。 其 值 为 网 络 层 距离 函数 Cnetlayers{ij.distanceFcn) 的 计算 络 末 ， 和 它 丰 通过 网 
络 层 神经 元 的 位 置 〈net.layers{fi}.positions) 进行 计算 的 。 

S$ ) positions 属性 〈 只 读 ) 

net.jayers{i}.positions， 该 属性 定义 第 守 个 网 络 层 中 神经 元 的 位 置 ， 这 些 位 商用 于 目 组 织 映 
射 。 其 值 为 网 络 层 拓 扑 结构 函数 netjayers{i}.topologyFcn) 关于 位 置 的 计算 结 未 ， 它 征 通过 网 
络 层 神经 元 维 数 (net.layersfij.dimensions) 进行 计算 的 。 

可 以 用 plostom 函数 画 出 网 络 层 神 经 元 的 位 置 艾 。 例 如 


plotsom(net2.ljayers{1 开 .Postltlons) 
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net2 第 1 网络 层 的 位 置 如 图 2-3 所 示 。net2.layers {11.dimensions=[1S] 是 一 维 的 ， 所 以 所 有 
伸 经 元 的 位 置 痢 在 水 平 轴 上 ， 即 positions(2.D=0。 

p=|1 2;-1 1;0 1; 

net1=newp(p,2)， ce 


net2=newft([-] 1];-1 局 ,由 2|,{ tanslg 加 

purelin 站 traingdx ,learngdm ); S 
net2.1ayers{1}.dimensions=[15]; 
for 1 二 1 :135 
Positions(2.U=O; 0 5 10 
pjlotsom(net2.]ayers{ 1] } .posltions) 人 
cnd 多 2-3 net2 第 1 网 络 层 神经 元 的 位 置 图 


当然 ， 网 络 质 的 神经 元 拓扑 结构 还 可 以 设 次 成 维 的 ， 当 >3 时 ， 神 经 元 的 位 置 图 将 由 
维 超 立 体 空 间 的 点 表示 , 此 时 plotsom 畏 数 只 标 出 开始 的 三 维 位 置 坐标 , 图 2-4 是 dimensions=[3 
2?] 的 神经 元 位 和 直 示 和 是 岗 ， 它 是 二 维 的 ; 图 2-5 古 dimensions=[1 3 2 1 的 神经 元 位 置 示意 图 ， 它 是 
四 维 的 ， 图 中 只 标 出 前 三 维 位 置 坐标 。 


Neufon Positions 





c 0.5 
Neuron Positions 与 
06 
一 Sa 0 
S UPb 了 
S 04 
s 02 
1 
0.5 1 1.5 2 2.5 > 
csitIont2， ,| 本 
Position 放 0 4 PositiontT.b 
疼 2-4 dimensions=(3 2 的 神经 元 位 置 网 图 2-$3 dimensions=f1132 1 的 神经 元 位 团 图 


6 ) netInputFcn 属性 


net.ljayers{ij.netInputFcn 属性 定义 一 个 网 络 输入 图 数 ， 以 给 定 的 权 值 和 了 净值 计算 第 关 个 网 络 


沪 属 性 可 被 设置 为 任意 一 个 神经 网 络 工具 箱 中 的 网 络 层 输入 函数 名 (网络 输入 函数 见 表 
2-9 )。 
表 2-5 神经 网 络 工具 箱 的 网 络 输入 函数 
上 数 说 明 
netprod 求 积 网 络 输入 坝 数 
netSum 求 和 了 网络 输 六 国 数 
5 Sim 函数 航 调 用 时 ， 输 入 图 数 极 用 于 网 络 的 仿真 
[YY Pf, Afl=simnet P PI1, AD 
纤 了 以 上 上 网络 输 入 国 数 之 外 ， 用 尸 还 可 以 目 定义 网 络 输入 函数 。 
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7 ) topologyRFcn 属性 

net.layers{ij.topologyFcn， 议 属性 定义 一 拓扑 络 构图 数 ， 用 以 计算 第 基 个 网 络 层 中 的 神经 元 位 
芮 《net.layers{fi}.positions )， 运 位 站 十 通 过 网 络 层 神 经 元 的 维 数 net,layers{fi}. dimensions 进行 计算 
的 。 其 值 可 以 设置 成 神经 网 络 工 具 箱 中 任意 一 拓扑 结构 图 数 名 《拓扑 结构 函数 见 表 2-6 )。 


表 2-6 神经 网 络 工具 箱 的 拓扑 结构 函数 


项 数 说 明 
gridtop 网 状 网 络 层 拓扑 结构 函数 
hextop 六 按 形 网 络 层 拓扑 结构 函数 
randtop 随机 网 络 层 拓扑 结构 函数 


除了 以 上 拓扑 结构 国 数 外 ， 用 户 还 可 以 目 定 义 拓 扑 结构 请 数 ， 相 关内 容 谈 者 可 以 目 行 参考 
相关 文献 。 

topologyFcn 属性 值 一 旦 改变 ， 则 了 网络 层 神经 元 的 位 置 〈net.layers{i}.positions) 也 会 随 乙 更新。 

8 ) Size 属性 

net.]ayers{i}.size， 该 属性 定义 第 个 网 络 层 中 的 神经 元 数目 ， 其 值 可 以 说 置 为 0 或 正 整 数 。 

其 值 一 旦 发 生变 化 ， 则 所 有 的 netinputWeights{i, :jsize《〈 连 楼 到 诅 网 络 层 的 划 入 权 信 问 量 
元 素 的 数目 )、net.layerWeights{:，ij.size 〈 该 网络 层 连 接 到 其 他 网 络 层 权 值 回 量 元 素 的 数目) 
net.layerWeightsfi, :}.size《〈 其 他 网 络 层 连接 到 该 网 络 层 权 值 问 量 元 条 的 数目 )、netbiases{ij.size 
(该 网 络 层 阅 值 癌 量 元 素 的 数目 ) 等 痢 将 随 之 改变 。 

与 之 相关 的 neLIW1 :}、netLLW{i :}、netLWf{Ti 计 和 PbiasesCnetbfi) 回 量 的 维 数 也 会 随 之 改变 。 

如 果 网 络 层 具有 输出 向 量 和 目标 回 量 ， 则 netoutputs{i}j.size (网络 层 输出 问 量 元 素 的 数目 ) 
和 net.targets{i}.Size 〈 目 标 癌 量 匹 系 的 数目 ) 也 会 改 灾 。 

同时 ， 网 络 层 神 经 元 的 维 数 (net.layers{fi}j.dimensions) 将 被 设置 成 与 该 属性 相同 的 值 ， 这 
仅 适 用 于 神经 元 的 维 数 为 一 维 的 情况 : 对 于 多 维 的 情况 , 应 诅 且 接 议 置 netlayers{fi}. dimensions， 
而 不 应 使 用 Size 属性 误 置 。 

9 ) userdata 属性 

net.layers{fij.userdata， 该 属性 值 为 用 户 提 供 增 加 关于 网 络 层 回 量 的 用 己 信 息 的 地 方 ， 宛 预 
先 只 定义 一 个 字段 ， 其 值 为 ' -个 提示 信和 县 

net.l]ayers{i}.userdata=note:Put your custom layer Inftormatlon here. 

用 户 可 以 通过 修改 net.layers{fi}j.userdata.note 的 但 ， 增 加 关于 网 络 技 回 星 的 用 刀 信 息 。 

I0 ) transferFcn 属性 

net.layers{i}.transferFcn， 该 属性 定义 网 络 的 传输 函数 ， 用 以 计算 第 工人 个 网 络 层 的 得 出 ， 二 
给 出 是 通过 给 定 的 网 络 层 输入 值 进行 计算 的 。 其 值 可 以 设置 成 神经 网 络 工具 箱 中 任意 一 个 传 奏 
函数 名 《〈 传 输 图 数 见 表 2-7)。 

表 2-7 神经 网 络 工具 箱 的 传输 函数 
丁 。 数 说 。 明 
cormpet 融和 定 型 传输 表 效 
hbardlim 国 但 多 传 输 图 妇 


| UP 


-SS 
区 


和 


MATLAB 神经 网 络 仿真 与 应 用 


续 表 
晒 元 说 了 明 
hardlims 对 称 畏 但 型 传输 冰 数 
logsjg S 形 传 答 欧 数 
posiin 正 线性 传输 图 数 
purejin 线性 传输 畏 数 
radbas 径 同 其 传输 函数 
satlin 也 和 线性 传输 函数 
satlins 对 称 人 饱和 线性 传输 函数 
softmax 秒 性 最 大 值 传 输 孙 数 
tanhsig 双 曲 正切 $ 形 传输 函数 
tribas 一 角形 径 癌 基 传 输 示 数 


除了 表 中 的 传输 函数 外 ， 用 户 还 可 以 自 定 义 传 输 函 数 ， 相 关内 容 和 在 后 面 介绍 。 当 sim 函数 
被 调用 时 ， 传 输 孜 数 锌 用 于 网 络 仿真 
[YY PTf, Ail=stimnet 了 PI, Al1) 
3， 输 出 回 量 
net.outputs， 该 子 对 象 的 属性 话 细 定义 了 了 网络 的 每 一 个 输出 问 量 ， 例 如 


net1.outputs={[L1Lx]lastruct]| 


net2.outputs ={ 们 ] [1xlstruct])} 


每 个 输出 丫 量 的 结构 属性 值 ， 可 以 通过 


net.OuUtputstL 1]} 
访问 。 例 如 
Sl1Ze :2 
net2.outputs{ 1,2 上 = 
Userdata :|1x1lstruct | 


] ) Size 属性 (只 读 ) 
net.outputs{fjj.size， 该 属性 定义 了 第 个 网 络 层 得 出 问 量 中 元 素 的 数目 ， 其 值 为 第 个 网 络 
层 神 经 元 的 数 上 日 《net.layers{fi}.size )。 
2 ) userdata 属性 
net.Outputs{i}.userdata， 该 属性 为 用 户 提 供 了 增加 关于 第 守 个 网 络 层 和 输出 回 量 的 用 户 信 息 的 
地 方 ， 它 预先 只 定义 一 个 字段 ， 其 值 为 一 个 提示 信息 
net.Outputsfij .userdata=note: 了 Put your custom output intormation here. 


用 户 可 以 通过 修改 net.outputsfi}j.userdata.note 的 值 ， 增 加 关于 第 个 网 络 层 输出 加 量 的 用 户 
信息 。 
4. 国 值 癌 量 


net.bjases， 该 子 对 象 的 属性 详细 定义 网 络 的 每 一 个 国 值 回 量 。 例 如 
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net]1.blases ={L1Lxjlstruct]|} 
[1x1 四 


net2.blases 三 
1xlstruct] 


每 个 国信 问 重 的 结构 属性 但 ， 可 以 通过 
net.blases11| 


访问 。 例 如 


InitkFcn :” 
learn :1 
learnFhcn : learngdm 
net2.blases11 |} = 
learnParam :|1xlstruct| 
Size :14 


Userdata :|[1x1lstruct| 


] ) initPFcn 属性 
net.biases{fij.initFcn， 该 属性 定义 第 /个 网 络 层 交 信 问 量 的 初始 化 函数 ， 如 果 网 络 的 初始 化 
图 数 为 inittay， 则 第 个 网 络 层 交 值 癌 量 的 初始 化 函数 的 图 数值 为 initwb。 其 值 可 以 设置 成 神经 
网 络 工 具 箱 中 任意 一 个 靖 值 初始 化 图 数 名 【初始 化 国 数 见 表 2-8 )。 
表 2-8 神经 网 络 工具 箱 的 初始 化 函数 


项 数 说 上 明 
initcon “ 展 心 ”(conscience) 值 初始 化 明 数 
initzero 去 权 值 / 痪 值 初始 化 函数 
ranmds 对 称 随 机 权 值 / 畏 值 初始 化 函数 


除了 表 中 的 初始 化 函数 外 ， 用 户 还 可 以 目 定 义 切 始 化 函数 ， 当 init 国 数 和 居 调 用 时 ，initFcn 
定义 的 冰 数 将 对 第 个 网 络 层 国信 网 量 Cnetbfij)》 进行 初始 化 
net=1lnlit(net) 
2 ) learn 属性 
net.biases{fi}.learn， 访 属性 定义 第 个 国 值 回 量 在 如 练 和 调整 过 程 中 是 合 变 化 。 其 全 可 以 放 
置 为 0 或 1。 它 容许 或 禁止 在 训练 《〈train) 和 调整 〈adapt) 过 程 中 对 效 值 问 量 进行 学 习 
[netY, E, Pf, aF]=adapt(NET P 工 PL AD 
[nettrl=train(NET P 工 Pl1, Al) 
3 ) learnParam 属性 
net.biases{i}.learnParam， 访 属性 定义 了 第 工 个 网 络 层 装 值 问 量 当前 的 学习 图 数 的 参数 及 参 
数值 ， 其 值 取 决 于 当前 的 学 习 函 数 Cnet.biases{jj.learnFcn)， 可 以 查阅 当前 学 习 函 数 的 参考 文献 


heljp(net.biases{1learnFcni 
4) learnFcn 属性 
net.baises{fil.learnFcn， 如 果 网 络 的 训练 函数 是 trainb 、trainc 和 trainr， 或 者 网 络 调整 图 数 为 
tains， 则 该 属性 定义 第 ;个 网 络 层 阔 值 向 量 在 训练 和 调整 过 程 中 的 学 习 函 数 。 其 值 可 以 设置 成 
神经 网 络 工 具 箱 中 任意 一 个 学 习 男 数 名 《学 习 图 数 见 表 2-9)。 


ss 


力作 
1 
nr 
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表 2-9 神经 网 络 工具 稍 的 学 习 范 数 


函 数 说 明 
learncon “民心 ”(conscience) 国 值 学 习 困 数 
learngd 悦 度 下 降 权 但/ 国 值 学 习 函 数 
learngdm 附加 动量 因子 的 梯度 下 降 权 全/ 国信 学 习 冰 数 
learnp 感知 器 权 值 /网 值 学习 函 数 
learnpn 妥 一 化 感知 器 权 便 / 阀 值 学 习 函 数 
learnwh WHOWidrow-Hofp 权 值 / 疯 值 学 习 规 则 


余 了 以 上 尝 习 函数 外 ， 有 用户 还 可 以 和 目 定 义学 习 函 数 。 如 有 果 网 络 的 训练 国 数 是 trainb、trainc 
和 | trainr， 或 者 网 络 调整 冰 数 为 trains， 则 当 train 男 数 锌 调用 时 ，learnFcn 定义 的 图 数 将 对 第 : 
个 网 络 层 效 值 回 量 (Cnetbfij ) 进行 更 新 
[net, YY 匡 , Pf, Af=adapt(NET P 1 PI, AD 
[nettrj]=traimnONET PT PI, Al) 


数 的 参数 及 其 默认 参数 值 代 答 。 

S$) Size 属性 【只 读 ) 

net.biases{fij}j.size， 该 属性 定义 了 第 守 个 网 络 层 浆 信 问 量 元 素 的 数目 ， 其 全 为 第 工 个 网 络 层 
人 钊 经 元 榴 数 目 〈net.jayers{fij.Size )。 

6 ) Userdata 属性 

net.baises{fi}j.userdata， 芒 属性 为 用 户 提 供 了 增加 关于 第 奔 个 网 络 层 国 值 问 量 的 用 户 信息 ， 
可 以 通过 修改 net.biases{fi}j.userdata.note 的 值 ， 增 加 关于 第 :个 效 值 癌 量 的 用 户 信息 。 

5. 输入 权 值 同 星 

net.inputWeights， 该 子 对 象 的 属性 详细 定义 网 络 的 每 一 个 输入 权 便 加 量 。 例 如 


net1.InputWwelghts ={[LLxlastruct|| 


[1x1lstruct] 
net2.IDputyyelghts 三 | [ | 
每 个 输入 权 值 向 量 的 结构 属性 值 ， 可 以 通过 
net.InputWelghtsll.1| 
访问 。 例 如 
deiays: OO 


InlitFcn : Inltzero 
learn :| 
jearnFcn: learmmnp 

net1l.InputWelghts{t 1 上 | = 
learnParam: || 
Slze:|2 3] 
Userdata :[1xlastruct| 


welghtFkcn: dotprod 
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1 ) delays 属性 

net.inputWeights{ijj.delays， 议 属性 定义 第 个 输入 问 量 与 第 庆 个 网 络 层 权 值 之 间 的 抽 头 延 
开 线 ， 其 值 为 从 0 或 正 整 数 开 始 的 逐渐 增 大 的 行 向 量 。 

该 属性 值 一 旦 改变 ， 权 值 向 量 的 大 小 〈pnetinputyWeights{jj}j.size ) 和 权 值 向 量 维 数 
CnetIW{ijj}) 将 航 更 新 。 

2 ) initFEcn 属性 

net.inputWeights{ijj.initFEcn， 如 果 网 络 的 初始 化 函数 为 initay， 且 网 络 层 的 初始 化 函数 为 
initwb， 则 该 属性 定义 第 六 个 输入 癌 量 与 第 守 个 网 络 层 权 值 向 量 的 初始 化 函数 。 其 值 可 以 设置 成 
神经 网 络 工 具 箱 中 任意 -一 个 权 值 初始 化 函数 名 《〈 权 值 初始 化 函数 如 表 2-10 所 示 )。 


表 2-10 神经 网 络 工具 箱 的 权 值 初始 化 函数 


革 效 说 阴 
initzero 零 权 值 / 装 值 初始 化 前 数 
midpoint 中 点 权 值 急 始 化 困 数 
randnc 归 一 化 列 权 值 初始 化 函数 
randnr 站 一 化 行 权 值 初始 化 遇 数 
rands 对 称 随 机 权 倡 / 闪 值 初始 化 函数 


除了 以 上 权 值 初始 化 函数 外 ， 用 户 还 可 以 自 定 义 权 值 初始 化 函数 。 如 果 网 络 的 初始 化 函数 
(Cnet.initFcn ) 为 inittay， 且 网 络 层 的 要 始 化 图 数 net.layers{fij.initFEcn) 为 initwb， 则 当 init 函数 
做 调用 有 时, netinputWeights{fij}.initFcn 所 定义 的 图 数 将 用 于 计算 从 第 个 输入 癌 量 到 第 守 个 网 络 
层 的 急 始 权 伍 问 量 值 
net=lnlt(net) 

3 ) learn 属性 

netinputWeights{ij jlearn, 该 属性 定义 第 /个 输入 向 量 与 第 ;个 网 络 层 的 权 值 向 量 在 训练 和 
调整 过 程 中 是 否 改 变 ， 其 全 可 议 置 为 0 或 1， 分 别 表 示 权 信 网 量 在 训练 和 调整 过 程 中 禁止 和 容 
证 进行 字 司 

[net YY 上 , Pf, Atil=adapt(NETL 了 工 PL Al) 
Inet,trj=tralin(ONET P 工 PI AD) 

4) learnEcn 属性 

net.inputWeightsfij}.learnFcn， 如 果 网 络 的 训 红 冰 数 为 trainb、trainc 或 trainr， 或 网 络 的 调 
收 函 数 为 trains， 则 该 属性 定义 第 j 个 输入 向 量 与 第 ;个 网 络 层 权 值 向 量 的 学 习 函 数 。 其 值 可 以 
攻 置 成 神经 网 络 革 具 箱 中 任 划 一 个 权 值 尝 习 图 数 名 《〈 权 介 学 习 图 数 见 表 2-11 )。 


表 2-11 神经 网 络 工 具 箱 的 权 值 学 习 函 数 


卫 数 说 了 明 
Jearngd 梯度 上 下 降 权 值 / 闪 值 学 习 函 数 
learngdm 附加 动量 因子 的 梯度 下 降 权 值 / 冰 值 学 习 函 数 
learnh Hebb 权 值 学 习 困 数 


learahd 带 训 减 因子 的 Hebb 权 值 学 习 贞 数 
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续 表 
困 数 说 明 
leamrnis 内 星 权 值 学 习 函 数 
learnk Kohonen 权 值 学 习 基 数 
learnlv1l LVQ1 权 值 学 习 图 数 
learnlv2 LYQ2 权 值 学 习 函 数 
learnos 外 星 权 值 学 习 国 数 
learmnp 感知 器 权 值 / 益 值 学 习 靖 数 
iearnpn 归 一 化 感知 器 权 值 / 效 倡 学习 冰 数 
learnsom 目 组 织 冉 射 权 值 学 习 困 数 
learnwh WHCWidrow-Hofn 权 值 / 国 值 学 习 规则 


除了 以 上 权 值 初始 化 图 数 外 ， 用 户 还 可 以 目 定 义 权 信 初始 化 男 数 。 如 果 网 络 的 圳 练 图 数 
Cnet.trainFcn ) 为 trainb、trainc 或 trainr， 或 网 络 的 调整 图 数 CnetadaptFcn ) 为 trains， 则 “ 当 train 
函数 被 调用 时 ，net'inputWeights{ijj.learn 所 定义 的 函数 将 用 于 计算 第 了 个 输入 同 量 与 第 工 个 网 
络 层 的 权 值 同 量 

[net, 站 达 , Pf Af 们 =adapt(ONETP 了 六, Ah) 
[net,tr]=traln(NET 了 工 PL AT) 

$ ) learnParam 属性 

net.inputWeights{fijj.learnParam， 访 属性 定义 第 工人 个 网 络 层 来 目 第 7 个 输入 问 量 的 权 值 同 量 
稀 习 图 数 的 参数 及 参数 信 ， 其 信 取 决 于 当前 的 学 习 图 数 《net.inputWeights{ijj. learnFcn)， 可 以 
丛 阅 当前 学 习 函 数 的 帮助 以 获得 当前 和 区 习 图 数 的 具体 摘 述 

helip(Cnet.InputWwelghts{tl]j .learnEFcny) 

6) Size 属性 (只 读 ) 

net.IinputWelghts1{1,] }.Slze， 该 属性 定义 第 ; 个 网 络 层 与 第 / 个 输入 问 量 的 连续 权 的 数目 ， 其 
但 为 上 共有 了 两 个 元 素 的 行 网 量 ， 分 别 表 示 棚 应 权 信 站 旺 netIW{}) 的 行 数 与 列 数 。 第 一 个 元 
素 的 值 为 第 工 个 网 络 层 的 神经 元 的 数目 〈netlayersfil.size)， 第 二 个 元 素 的 值 为 第 ) 个 输入 疝 量 
元 素 的 数 日 Cnetinputs{j}j.size) 与 第 个 网 络 层 输 入 抽 头 延迟 线 长 度 的 滋 积 

lengthGnetInputWwelghts{tlj.deljays)*net.Inputs{t] 上 SI1Ze 

7 ) userdata 属性 

net.inputWeights{ij}.userdata， 访 属性 为 用 户 提 供 了 增加 关于 第 工 个 网 络 层 与 第 了 三 个 输入 个 
问 量 连接 权 数 上 月 的 用 户 信 息 的 地 方 ， 它 预先 只 定义 一 个 字段 ， 其 全 为 一 个 提示 信息 

net.InputYWelghts{l]j}.userdata=note:Put your custom welght Intormatlon here. 

用 户 可 以 通过 修改 net.inputWeights{i,j}.userdata.note 的 伍 ， 增 加 关于 第 守 个 网 络 层 与 第 个 输入 
器 量 连 接 权 数目 的 用 户 信 有 妃 。 

8 ) weightFcn 属性 

net.inputWeights{ij}.weightFEcn， 该 属性 定义 第 守 个 网 络 层 来 目 第 了 个 翘 入 同 量 的 权 值 图 数 。 
其 值 可 以 是 神经 网 络 工 具 箱 的 任意 一 个 权 值 胃 数 名 《〈 权 住 图 数 如 表 2-12 所 示 )。 
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表 2-12 神经 网 络 工具 箱 的 权 值 苯 数 


更 数 说 明 
dist 欧 几 里 得 (Euclidean) 距 离 权 众 函 数 
dotprod 点 积 权 值 函数 
mandist 曼哈顿 (Manhattam) 距 离 权 值 函 数 
negdist 归 一 化 列 权 值 初 妈 化 前 数 
norniprod 归 一 化 行 权 值 初 始 化 函数 


当 sim 玖 数 被 调用 时 ， 权 值 毅 数 被 用 于 网 络 的 仿 其 
[Y PE Afl=sIimnet 下 局, AD) 


6 目标 阿 量 
net.Largets ， 该 子 对 象 的 属性 详细 定义 了 网 络 的 每 一 个 月 标 同 量 。 例如 


net.targets={[1X] struct|| 


met2.targets 三 届 [ix] struct | 


每 个 目标 癌 量 的 结构 属性 值 ， 可 以 通过 


net.targets{1,]|} 
访问 。 例 如 
Size :2 
net2.targets{ 1 .2 | 一 
Userdata :|1x1struct| 


1 ) Size 属性 (只 读 ) 
net.targets{ij.size， 该 属性 定义 了 第 守 个 网 络 层 目标 问 量 中 元 素 的 数目 ， 其 全 为 第 了 个 网 络 
层 神 经 元 的 数目 (Cnet.layers{fij.size )。 
2 ) userdata 属性 
net.targets{i}.userdata， 该 属性 为 用 户 提 供 了 增加 关于 第 了 工 个 网 络 层 月 标 阿 量 的 用 户 信息 的 
地 方 ， 它 预先 只 定义 一 个 字段 ， 其 值 为 一 个 提示 信息 
net.targets{1i}.userdata=nmnote:Put your custom targets Intiormation here. 


用 户 可 以 通过 修改 net,targets{fjij.userdata.note 的 值 ， 增 加 关于 第 个 目标 癌 量 的 用 户 信 息 。 
7.， 网 络 层 权 值 品 量 


net.jayerWelghts={L ]) 


net2.jayerWelghts = | | 四 
[1xlstrucb 了 


每 个 网 络 层 权 值 向 量 的 结构 属性 值 可 以 通过 
net.layerWwelghts1l;,] | 
访问 。 例 如 


让 
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delays :OO 
InlitFcn 
learn :1 
learnFcn :learngdm 
net2.1ayerWelghts{2,1} = 
jearnbParam :[1x1lastruct| 
Size:[2 19] 
Userdata :[1xlstruct| 


welghtFEcn : dotprod 


1 ) delays 属性 

net.]ayersWeights{ijj.delays， 议 属性 定义 第 个 网 络 层 与 第 个 网 络 层 权 信之 间 的 抽 头 延迟 
线 。 其 值 为 从 0 或 正 整数 开始 的 逐渐 增 大 的 行 辐 量 。 

2 ) initFEcn 属性 

net.]ayerWeights{ijj}.initEcn， 如 果 网 络 的 急 始 化 图 数 为 initlay， 且 网 络 层 的 家 始 化 图 数 为 
initwb， 则 该 属性 宪 义 从 第 个 网 络 层 到 守 个 网 络 层 权 值 同 量 的 初始 化 轴 数 。 其 全 可 以 设置 成 神 
经 网 络 工 具 箱 中 任意 -个 权 值 始 化 图 数 名 《 权 值 仍 始 化 函数 匈 雪 2-10)。 

如 果 网 络 的 初始 化 函数 Cnet.initFcn ) 为 initlay ,日 网 络 层 的 初始 化 男 数 (Cnet.ljayers{fi}l. initFcn ) 
为 initwb， 则 当 init 图 数 被 调用 时 ，net.layerWeights{1ij}.initFcn 所 定义 的 图 数 将 用 于 寺 算 从 第 7 
个 网 络 层 到 第 个 网 络 层 的 初 冶 权 什 加 量 值 

net=intt(net) 

3 ) learn 属性 

net.]ayerWeights{fijj.learn， 衣 属 性 定义 第 个 网 络 层 到 第 莽 个 网 络 层 的 权 值 问 量 在 训练 和 调 
丈 过 程 中 是 否 改变 ， 其 值 可 设置 为 0 或 1， 分 别 表示 权 值 向 量 在 训练 和 调整 过 程 中 禁止 和 容许 
进行 学 习 。 

[net YE, Pf. Afj=adapt(NET PT Pi, Aj) 
[nettr1=traim(NET 忆 【 PL Al) 

4 ) learnParanm 属性 

net.]ayerWeights{ijj.learnParam， 该 属性 定义 第 莽 个 网 络 层 来 目 第 六 个 网 络 质 榴 权 值 问 量 学 
习 图 数 的 参数 及 参数 但 ， 其 但 取决 于 当前 的 学 习 图 数 (CnetlayerWeightsfij}.learnFcn)， 可 以 碍 
阅 当 前 学 习 函 数 的 帮助 ， 获 得 当前 学 习 图 数 的 其 体 摘 述 

helpCnet.layerWeights{l]j learnFcn) 

5 ) learnFcn 属性 

net.layerWeights{ij}.learnFcn， 如 果 网 络 的 训练 函数 为 trainb、trainc 或 trainr， 或 网 络 的 蔽 
整 函数 为 trains， 则 该 属性 定义 第 个 网 络 层 到 第 个 网 络 层 权 值 癌 量 的 学 习 畏 数 。 有 其 值 可 以 设 
置 成 神经 网 络 工具 箱 中 任意 一 个 权 值 学 习 函 数 名 〈 权 全 学 习 图 数 如 表 2-11 所 丕 )。 如 有 末了 网 络 的 
训练 函数 (nettrainFcn ) 为 trainb、trainc 或 trainr， 或 网 络 的 凋 整 函数 (Cnaet.adaptFEcn ) 为 trains， 
则 当 train 函数 被 调用 时 ，netlayerWeights{fij}.learnFcn 所 定义 的 函数 将 用 于 计算 从 囊 庆 个 网 络 
层 到 第 关 个 网 络 层 的 权 仁 加 量 

[net, YY FE, Pf Af 们 =adapt(NET PP [ PI, AD 
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[net trl=traln(NET PT 工 PI, AT) 

6) Size 属性 (只 读 ) 

net.1ayerWeights{ij}.size， 塘 属性 定义 第 工人 个 网 络 层 来 自 第 /个 网 络 层 的 权 值 回 量 元 素 的 数 
日 ， 蕉 值 为 共有 两 小 元 和 聚 的 行 回 量 ， 分 别 表示 相应 网 络 层 权 值 向 量 (Cnet.LW{ijl 的 行 数 与 列 
数 。 第 一 个 元 系 的 人 为 第 关 个 网 络 层 神 经 元 的 数目 〈netlayersfij.size)， 第 二 个 元 素 的 值 为 第 / 
个 网 络 层 神经 元 的 数目 《netlayers{fjj.size) 与 权 值 抽 头 延迟 线 长 度 的 乘积 

length(net.layeryelghts{fl,j}jdelays)*xnet.layers{j}.Size 

7 ) Userdata 属性 

net.]ayerWeights{ij}j.userdata， 访 属性 为 用 户 提 供 增 加 关于 第 工 个 网 络 层 来 自 第 个 网 络 尼 
的 权 值 辐 量 元 率 数 目的 用 户 信 息 的 地 方 ， 它 预先 只 定义 个 字段 ， 其 值 为 一 个 提示 信息 

net.jayerWelghtstl userdata=note: Put youUI custom welsght information here. 
用 户 可 以 通过 修改 net.layerWeights{ij}.userdata.note 的 值 ， 增 加 关于 第 字 个 网 络 层 来 自 第 /个 输 
入 回 量 的 权 什 同和 量 元 素数 目的 用 己 信 息 。 

8 ) weightFcn 属性 

net.jayerWeightsfij}.weightFcn， 充 属性 定义 第 了 守 个 网 络 层 来 目 第 /个 网 络 层 的 权 值 冰 数 。 
其 全 可 以 是 人 得 经 网 络 工具 箱 的 任意 “个 权 全 图 数 名 《 权 什 函数 如 表 2-12 所 示 )。 

当 Sim 图 数 锌 幸 用 时 ， 权 全 函数 被 用 于 网 络 的 仿真 

[Y Pf, Af=simCnet, PP PL An 

以 上 介绍 了 MATLAB 神经 网 络 工具 箱 中 神经 元 和 神经 网 络 的 - - 般 模型 、 神 经 网 络 对 象 及 其 子 
对 象 的 局 性 ， 理 解 这 些 内 容 将 有 助 于 我 们 利用 神经 网 络 工 具 箱 进行 神经 网 络 的 设计 和 仿真 。 

通过 和 下面 几 个 例子 ， 旋 肴 可 以 进一步 飚 芒 本 章 的 基本 内 容 。 


U.> “0.3 U.3 pureln 
【 例 2-1】 设 p=[2 -2 ，IW =|0.9 -0.1|1，2 =| -0.53|，j =| purelin |， 试 面 出 其 
U.9 一 0.0 U.4 purelin 


网 络 结构 未 意图， 并 求 出 网 络 的 输出 值 。 

解析 : 根据 题 释 ， 神 经 网 络 有 1 个 输入 回 量 ， 包 含 2 个 输入 变量 ; 输入 层 有 3 个 神经 元 ， 
传输 图 数 为 purelin; 无 其 他 网 络 导 ， 所 以 为 甲 层 钊 经 网 络 。 根 据 以 上 信息 可 男 出 其 神经 网 络 结 
构 示 意图 ， 如 图 2-6 所 示 。 





图 2-6 例 21 的 神经 网 络 的 结构 不 意图 
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0.$ “0.5 0.5 purelin(0.5)| 「0.5 
a = (ITWLp+D)= 让 [0.9 -o| | -0.$|=| purelin(1.5) | = 
U.9 0.1 0U.4 purelimn(2.0) 2.0 


【 例 2-2】 示 个 神经 网 络 的 部 分 属性 如 下 ， 据 此 画 出 其 网 络 向 量 模型 结构 示意 图 。 

net.numinputs=1 

net.Inputs{ 1 } .Size=2 

net.nuUrmnLayers=2 

net.jayers{ 1 } .dimensions=3 

net.jayers{21.dimensions=2 

net.blasConnect=[1;1] 

net.InpuUtConnect=[1;0] 

net.]ayerConnect=[0 0;1 0] 

net.OUtpuUtLConnect=[0 1] 

net.outputs{ 1 .S1ze=2 

net.jayers{ ] }.transferFcn=logsig 

net.layers{2}.transferFcn=logsig 

解析 : 根据 题 章 ， 网 络 有 1 个 输入 向 量 〈netnumInputs=1)， 包 含 2 个 输入 变量 
(netinputs{1j.size=2); 有 2 个 网 络 层 netnumLayers=2)， 第 1 个 网 络 层 有 3 个 神经 元 
(netlayers{1}.dimensions=3)， 第 2 个 网 络 层 有 2 个 神经 元 〈netlayersf{21.dimensions=2)， 每 个 
网络 技 的 神经 元 都 有 浆 值 CnetbiasConnect=[1;1])， 第 1 个 网 络 层 〈 输 入 层 ) 与 输入 向 量 连接 ， 
2 个 网 络 层 与 输入 向 量 无 连接 (netinputConnect=[]1;0])， 只 有 第 1 个 网 络 层 到 第 2 个 网 络 层 
的 连接， 无 其 他 网 络 层 连接 (net.layerConnect=[0 0:1 0]); 两 层 网 络 层 神 经 元 的 传输 函数 均 为 
logslg 〈net.]jayers{] )}.transferFcn=logsipg， net.jayers{2j.transferFcn=logsig); 第 2 个 网 络 层 为 输出 
层 ， 有 2 个 输出 变量 net.outputConnect=[0 1]， net.outputs{11.Ssize=2)。 据 以 上 所 述 画 出 网 络 癌 
量 借 型 结构 示意 图 ， 如 图 2-7 所 示 。 











ee 答 入 层 神 经 元 网 络 层 神经 元 
Ri 一 
3Xx1 
-5 中 四 ps 
下 
2X1| 








图 2-7 rr 





种 3 草 神经 网 络 工具 箱 困 数 的 分 析 及 实例 





本 章 将 根据 神经 网 络 类 型 的 不 同 及 神经 网 络 的 发 展 历程 ， 逐 一 详细 地 讲解 MATLAB 与 神 
经 网 络 工具 箱 上 数 的 使 用 方法 和 主要 功能 。 


人 钊 经 网 络 工具 箱 是 在 MATLAB 环境 下 开 故 出 来 的 许多 工具 之 一 。 它 以 人 工 神经 网 络 理论 
为 基础 ， 利 用 MATLAB 编程 语言 构造 出 许多 和 典型 神经 网 络 的 框架 和 相关 的 函数 。 
下 面 按 奖 型 介绍 相关 图 数 的 方法 和 功能 。 ， 


3.1 ”神经 网 络 的 构建 函数 


表 3-1 列 出 了 神经 网 络 的 构建 机 数 ， 其 中 network 函数 用 于 建立 由 用 户 自 定义 的 结构 特殊 
的 神经 网 络 ， 这 时 用 户 要 根据 实际 情况 设 定 网 络 的 属性 参数 。 一 般 情况 下 ， 用 户 可 利用 newp、 
newlin 和 new 任 等 网 络 建立 图 数 ， 方 便 地 创建 各 种 常用 网 络 。 


表 3-1 构建 函数 











函数 名 称 功能 | 。 函数 名 称 功能 
忆 构建 一 个 自 定 义 神经 网 络 对 象 构建 一 个 线性 神经 网 络 
人 构建 一 个 前 向 级 联 BP 网 络 构建 一 个 学 习 矢量 量化 网 络 
本 构建 一 个 前 向 BP 网 络 设计 一 个 概率 神经 网 络 
本 构建 一 个 有 输入 延迟 的 前 向 BP 网 络 一 设计 一 个 径 向 基 函 数 网 络 
和 设计 -个 广义 回归 网 络 精确 设计 一 个 径 向 基 函 数 网 络 
ER 构建 一 个 Hopfield 反馈 网 络 | newsom | 建立 一 个 自 组 织 身 射 网 络 

1.， network 


在 MATLAB 神经 网 络 工 具 箱 中 , 使 用 network 函 数 自 定义 神经 网 络 对 象 , 其 调用 格式 如 下 。 
应 用 : 建立 一 个 目 定 义 神 经 网 络 对 象 。 
格式 net=network 


net=network(numInputs， numLayers， biasConnect， inputConnect， layerConnect 






outpbutLConnect target(Connect) 

解析 :该 函数 返回 一 个 神经 网 络 对 象 ， 函 数 调用 形式 中 的 numInputs 等 输入 量 为 确定 神经 ” 

网 络 结构 的 参数 ， 其 功能 说 明 如 下 。 ， 
numImputs: 该 属性 定义 了 神经 网 络 的 输入 个 数 ,属性 值 可 以 是 0 或 正 整 数 。 需 要 注意 的 是 ，， 

该 属性 定义 了 网 络 输入 矢量 的 总 个 数 ， 而 不 是 单个 输入 矢量 的 维 数 。 
numLayers: 该 属性 定义 了 神经 网 络 的 层 数 ， 其 属性 值 可 以 是 0 或 正 整数 。 
biasConnect: 该 属性 定义 了 神经 网 络 的 每 层 是 否 具 有 闭 什 ， 其 属性 人 为 XI1 最 : 
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所 了 肝 ， 其 中 w 为 网 络 的 层 数 〈netnumLayers)。net.biasConnect() 为 1， 表 示 第 守 层 上 的 神经 元 
具有 有 国 介 ， 为 0 则 表示 该 层 没有 浆 值 。 

inputConnect: 该 属性 定义 了 神经 网 络 的 输入 层 ， 其 属性 值 为 WxNi 维 的 布尔 量 柴 阵 ， 其 中 
A 为 网 络 的 层 数 ，Ni 为 网 络 的 输入 个 数 〈netnumInputs )。netinputConnect(i,j) 为 1， 表示 第 守 层 
上 的 每 个 神经 元 都 要 接收 网 络 的 第 7 个 输入 矢量 ， 为 0 则 表示 不 接收 该 输入 。 

layerConnect: 塘 属 性 定义 了 网 络 各 层 的 连接 情况 ， 其 属性 值 为 WXxAN 维 的 布尔 量 和 矩阵 ， 其 
中 A 为 网 络 的 层 数 。netlayerConnect(ij) 为 1， 表 示 第 层 与 第 / 层 上 的 神经 元 相连 ， 为 0 则 表 
示 它 们 不 相连 。 

outputConnect: 充 属 性 定义 了 神经 网 络 的 输出 层 ， 其 属性 值 为 1xwN 维 的 布尔 量 和 矩阵 ， 其 
中 AN 为 网 络 的 层 数 。 net.outputConnect() 为 1， 表示 第 层 神经 元 将 产生 网 络 的 输出 ， 为 0 则 表 
下 二 层 不 产生 输出 。 

targetConnect: 充 属 性 定义 了 神经 网 络 的 目标 层 ， 即 网 络 哪些 层 的 输出 具有 目标 矢量 。 其 
属性 值 为 1xwN 维 的 布尔 量 和 矩阵 ， 其 中 w 为 网 络 的 层 数 。nettargetConnect(G) 为 1， 表 示 第 守 层 神 
经 元 产生 的 输出 共有 上 且 标 矢 量 ， 为 0 则 表示 该 屋 输 出 不 具有 目标 矢量 。 

【 例 3-1】 定义 一 个 钊 经 网 络 对 象 


net=network 
net 三 
Neural Network object: 
archltecture: 
numjJnputs: 0 
numLayers: 0 
biasConnect: [] 
inputConnect: 由 
layerConnect: [] 
outputConnect: 门 
targetConnect: 中 
numOutputs:0 (ead-only) 
fnumlargets: 0 (read-only) 
numjlnputbDelays:0 (read-onjly) 
numLayerDelays: 0 (read-only) 
Subobject structures: 
inputs: {1OxX1 ceilj of Inputs 
layers: {OX1 celj of jayers 
outputs: { 1xo cellj containing no Outputs 
targets: {Tx0 celj contalning no targets 
biases: {0xl cel] containing no biases 
InputWelghts: {Ox0 cel ji containing no Input welghts 
layerWeights: {0x0 cell} containing no layer weights 
functions: 
adapthcn: (none) 
InlitFcn: (none ) 
pertormFcn: (none) 
trainFcn: (none ) 
paraimeters: 
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adaptbParam: (none) 
InlitParam: (none) 
perftormParam: (none) 
trainbParam: (none) 
welpght and blas values: 
1w: (LUxU cel ji containing no Input welght matrices 
LWw: LUxuU celj contalning no layer welght matrlces 
b: {Uxl celj contalnling no bias vectors 
other: 
Userdata: (USser Stu 持 ) 


上 上 例 在 调用 冰 数 network 时 没有 给 出 网 络 的 结构 参数 ， 因 此 肯 数 返回 值 net 中 的 各 属性 参 
效 均 为 图 数 提 供 的 稚 认 全 。 
2.Dhewc 
应 用 : 建立 一 个 竞争 层 网 络 。 
格式 : net=newc 
net=newc(PR, >、, 人 LRCLRI) 
解析 :竞争 层 网 络 由 单一 的 郭 争 层 构 成 ， 主 要 用 于 解决 分 类 问题 。 竞 争 层 的 加 权 函 数 为 
negdist， 输 入 函数 为 netsum， 传 递 函 数 为 compet。 神 经 元 权 值 和 阔 值 的 初始 化 函数 分 别 为 
midpoint 和 initcon， 网 络 的 目 适 应 幸 整 施 数 和 圳 练 图 数 分 别 为 trains 和 trainr， 权 仁和 浆 值 的 学 
习 毅 数 分 别 为 learnk 和 learncon。 其 参数 说 明 如 下 。 
PR: 网 络 得 入 天 量 取信 犯 围 的 所 阵 [Pmin Pmax]: 
S: 部 委 层 神经 元 的 个 数 ， 也 是 网 络 和 输入 天 量 的 分 类 数 ; 
KLR: 权 值 尝 习 速 秦 ， 坝 认 值 为 0.01; 
CLR: 国信 学 习 速 率 ， 夭 认 信 为 0.001。 
【 例 3-2】 利用 竞 争 层 网 络 把 下 列 二 维 天 量 分 为 两 头 。 
P=[0.1 0.8 0.1 0.9 0.2 0.8; 
0.2 0.9 0.1 0.8 0.1 0.8]: 
坟 二 维和 输入 天 量 的 取 值 艺 围 征 阵 为 
PR=[O 1:0 1] ]; 
行 把 这 些 天 量 分 为 两 尖 ， 痢 建 的 竞争 技 应 由 两 个 神经 元 构成 
net=newc([0 1;0 1],2); 
对 网 络 进行 如 练 ， 则 语句 调用 格 却 为 
net=traltn(net 也 ); 
网 络 的 仿真 结 示 为 
Y=Slimnet,P) 
YY 一 
(二 ) 
(2<,2) 
(1 .3) 
(4) 
(>) 


Ja 


时 
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(2.;0) | 


其 中 , 了 是 一 个 稀 踊 矩阵 ， 其 第 一 行 的 2、4、6 列 元 素 和 第 二 行 的 1、3、5S 列 元 素 均 为 1， 
即 己 中 第 2、4、6 个 输入 矢量 为 第 一 类 ， 其 余 三 个 矢量 属于 第 二 类 。 为 了 便于 观察 结果 ， 可 将 
7 转化 为 下 标 和 天 量 形式 ， 即 

Yc=vec2lind(Y) 

YeC 三 硬 
] 2 | 2 1] 2 

3，mewcf 

应 用 : 构建 一 个 前 癌 级 联 BP 网 络 。 

格式 : net=newcf 

net=newct(PR, [S1S2 SNI，{IFIIF2…TITEN1I BTFR BELEFRPP) 

解析 : net=newcf 用 于 在 对 话 框 中 创建 - :个 BP 网 络 。 其 参数 说 明 如 下 。 

PR: 几 每 组 和 输入 《共有 尺 组 输入) 元 篆 的 最 大 值 和 节 小 仁 组 成 的 尺 X2 维 的 矩阵 ; 

Si 第 层 的 长 度 ， 共 计 Ni 层 ; 

TF: 第 层 的 传递 图 数 ， 扒 认 为 “tansig ”; 

BTF:， BP 网 络 的 训练 函数 ， 默 认为 “trainlm 

BLF: 权 值 和 交 信 的 BP 学 习 算 法 ， 稚 认 为 “learngdm ”: 

PF:， 网 络 的 性 能 阔 效 ， 默 认为 “mse ”。 

【 例 3-3】 假 设 输入 和 目标 矢量 窍 阵 分 别 为 

P=[876343210]; 四 辐 罗 本 本 

T=lto12321232]; 汪 四 
建立 一 个 两 层 前 向 级 联网 络 ， 其 中 第 一 层 有 六 个 神经 元 ， 采 用 tansig 传递 函数 ， 输 出 层 神经 元 
的 传递 秃 数 为 purelin， 其 他 参数 均 采 用 稚 认 但。 

net=newcft([0 8 ,6 tanslig Purelinmn 用 ); 

对 网 络 进行 训练 和 仿真 

net=traln(net, 了 , 工 ); 

Y=SIm(net, 了 ) 


骨 练 和 仿真 绩 朱 为 


Y 三 E 
0.0000 “1.0000 “2.0000 3.0000 “2.0000 “1.0000 2.0000 3.0000 2.0000 
4.，mewelm 


应 用 : 构建 - :个 Elman 反馈 网 络 。 
格式 : net=newelm 
net=newelm(PR, [ls2 NIFITIE2…TENIL SITIEFEBLFRPE) 

解析 : 该 函数 可 以 构建 一 个 入 层 的 Elman 网 络 。 网 络 中 各 层 依 次 级 联 ， 除 最 后 一 层 外 ， 网 
络 的 每 层 都 共有 自 反 饿 ， 最 后 一 层 为 网 络 的 输出 层 。 网 络 各 层 的 加 权 函 数 为 dotprod， 和 输入 丽 数 
为 netsum， 各 层 传递 秃 数 由 用 户 设 定 。 各 神经 元 权 值 和 浆 值 的 初始 化 函数 为 initnw， 网 络 的 目 
适应 调整 函数 为 trains， 并 根据 指定 的 和 学习 本 数 对 权 值 和 病人 进行 更 新 , 网 络 的 认 练 函数 由 用 良 
指定 。 各 参数 说 明 匈 newcf。 
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【 例 3-4】 假 设 输入 和 目标 序列 分 别 为 
Pseq={0.,0,11.0,1.0,0,T 
Tseq={10,1.0,1,0.0,0,.1;01; 
权 建 一 个 两 层 ElIman 网 络 ， 其 中 第 一 层 有 六 个 神经 元 ， 传 递 函 数 为 tansig， 该 层 具有 自 反馈 ， 
输出 层 神 经 元 的 传递 函数 为 logsig， 其 他 参数 均 采 用 默认 值 。 
net=newelm([0,I,[6,1,{tansig” logslg 有 ) 
对 网 络 进行 训练 和 仿真 
net.trainParam.epochs=S$00; 
net=traintnet:Pseq,Tseq); 
Y=Slim(net,Pseg) 
训练 和 仿真 结案 为 
Y = 
[0.03531] [0.96006] [0.038910.9277] [0.01741 [0.0301] [0.04161 [0.9796] [0.0340] 
.newff 
应 用 : 构建 一 个 前 问 BP 网 络 。 
格式 : net=newff(PR, [S1.S2, …, SN],{TEF1 TEF2…TEFN11.BTEF BLFPF) 
解析 : 在 输入 参数 中 ，PR 为 尺 维 的 输入 元 系 的 玉 xX2 最 大 最 小 值 定 阵 ，S 为 第 守 层 网 络 神 
经 元 的 个 数 ， 共 有 NI 层 ; TER; 为 第 基层 网 络 的 转移 国 数 ， 默 认为 tansig 六 数 ;BTE 为 神经 网 络 
的 训练 函数 ， 默 认为 trainlim 函数 ; BLE 为 神经 网 络 权 值 /偏差 的 黎 习 函数 ; PF 为 性 能 评价 函数 ， 
钛 认为 mse 国 效 。 
【 例 3-5】 对 以 下 样本 数据 ， 末 用 newff 构建 前 问 神 经 网 络 。 
=-[(870603S43210]; 
T=-ID12321232|]: 
net=newft([0 8].16 1],ttanslg purelin ; 
对 网 络 进行 训练 和 仿真 
net=tramnet, 也 , )， 
Y=SUmnnet, 上 ) 
训练 和 仿真 结 未 为 
YY 二 
0.0031 0.9914 2.00806 2.9969 2.0000 0.9999 1.9998 2.9998 ”1.9998 
6. newfitd 
应 用 : 构建 一 个 具有 输入 延迟 的 琢 癌 BP 网 络 。 
属 式 : netfFnewtfftd(PR,ID, [S1,S2, … ,SN]{TF1 TF2…TFEN1IBTEFE BLFRPF) 
解析 : 该 函数 用 于 建立 - -个 六 层 前 同 BP 网 络 ， 网 络 输入 经 由 指定 延 返 后 进入 网 络 的 第 - 
层 。 网 络 各 层 网 加 权 男 数 为 dotprod， 输 入 函数 为 netsum， 各 技 传 递 量 数 由 用 户 设 宪 。 各 神经 
元 权 值 和 几 值 进行 更 新 ， 网 络 的 如 练 国 数 由 用 户 指 定 。ID 为 输入 延 玉 天 量 ， 其 他 参数 说 明 参 见 
上 面 的 构建 函数 。 
【 例 3-6】 假 设 输入 和 目标 序列 分 剂 为 
P={10011010 
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T={L1-1010-11-1) 
构建 一 个 两 层 网 络 ， 网 络 的 第 一 屋 有 三 个 神经 元 ， 该 层 输 入 由 网 络 输入 及 其 -- 拍 延迟 量 构 
伸 经 元 传递 图 数 为 tansig， 输 出 层 神经 元 传递 图 数 为 purelin。 
net=new 硅 td([Oo 1],[0 .[3 1,Ttanslig' Purelin' 1); 
对 网 络 进行 如 练 和 仿真 
net.tralnParam,epochs=00; 
net=tralin(net, 了 , ); 
YY=Simm(net, 了 ) 
答 出 结 扩 为 
站 二 
[1.0000] [1.0000] [-3.0460e-013] [1.0000][-2.1982e-012] [-1.0000 [1.0000] -1.0000] 
7 ，newgrnn 
应 用 : 六 下 一 个 广义 回归 网 络 。 
格式 : net=newgrnn 


把 


"只 


net=newgrnn(P 工 Spread) 

解析 : 广义 回归 了 网络 是 径 回 基 术 数 网 络 的 变形 ， 主 要 用 于 解决 函数 逼近 问题 ， 本 函数 可 以 
快速 该 计 一 个 广义 回归 网 络 。 广 义 回 归 了 网 络 是 一 个 两 层 神 经 网 络 ， 第 一 层 采 用 径 向 基 神 经 元 ， 
传递 亢 数 为 radbas， 加 权 函 数 为 dist， 输 入 函数 为 netprod; 第 二 层 神 经 元 的 传递 函数 为 purelin， 
加 权 贞 数 为 normprod， 输 入 函数 为 netsum。 其 参数 说 明 如 下 。 

P: 网 络 和 输入 样本 天 量 构成 的 矩阵 ; 

T: 网 络 和 输出 县 标 天 量 构成 的 年 阵 ; 

spread: 才 展 冲 数 ，spread 越 大 ， 则 图 数 越 平 滑 ， 当 spread 小 于 输入 矢量 间 的 典型 距离 时 ， 
网络 拟 合 的 函数 将 非常 通 近 于 样本 矢量 数据 ，spread 的 默认 值 为 1。 

【 例 3-7 了 假设 输入 和 目标 矢量 的 矩阵 分 别 为 

P=[0 1 2 3 4]; 

=|[-1 -3.1 ->.4 -4.3 -2 
放 计 -一 个 广义 回归 了 网络， 其 仿真 如 下 。 

net=newgsrn( 上 ,了 ); 

Y=Simtnet, 了 ) 

仿真 结果 为 

Y= 

-1.38911 -3.1837 -4.3706 -3.90599 -2.8723 

8，newlin 

点 用 : 痢 建 一 个 线性 神经 网 络 冰 数 。 

格式 : net=newlin 

net=newln(PR. SS. ID_、LR) 

解析 : net=newlin 妈 回 一 个 没有 和 定义 续 构 的 空 对 银 ， 并 显示 图 形 用 户 异 面 轴 数 nntool 的 帮 
助 文 字 ;， net=newlin(PR, S, ID, LR) 中 net 为 生成 的 线性 神经 网 络 。 其 参数 解析 如 下 。 

RP: 网 络 输 入 同 量 中 的 最 小 值 和 最 大 值 组 成 的 托 阵 [Pmin, Pmax]: 


生生 汪汪 全 和 汪 二 十 于 于 全 -人 六 
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S: 得 出 回 量 的 个 数 ; 
ID: 得 入 延 时 间 量 《可 汀 略 ); 
LR: 学 习 速 这 《可 湖上 略 )， 鸭 认 值 为 0.01。 
【 例 3-8】 假 设 输 入 和 目标 矢量 矩阵 为 
P=[01234]; 
工 =[-1 -3.1 -5.4 -7.3 -8.2|]; 
建 联 一 个 单 神经 元 线性 网 络 。 
net=newlnm(IO 3],1); 
对 网 络 进行 训练 和 仿 其 
net=tralnf(net, 了 ,T); 
Y=SlImnet, 了 ) 
竹 出 结 末 为 
时 莹 
-1.13$3$7 -3.0593 -4.9629 -6.86635 -8.7701 
9，newlinga 
应 用 : 说 计 一 个 线性 层 。 
格式 : net=newlind(P 工 Pi) 
解析 : 其 中 P、T 分 别 是 训练 样本 的 输入 十 阵 和 目标 输出 同 量 ，Pi 古 急 始 输 入 延 时 cell 问 量 。 
【 例 3-9】 使 用 newlind 函数 构建 线性 昼 经 网 络 过 近 层 。 


SIin(2Tt) 总 委 了 < 委 2 
y= 一 4SIn(4Tf) 2 和 上 和 4 
Sin(8Trf) 4 和 1s 委 0 


首先 ， 产 生 输 入 训练 样本 和 训练 目标 样本 。 


ttmel=0:0.01:2; 
ttme2=2.01:0.01:4; 
tttimne3=4.01:0.012:06; 
ttme=[tmel ttme2 ttme3]; 
T=[cos(time1*2*#xpl) cos(ttme2*4*pl) cos(ttme3#k4*P1)]; 
=]length(T); 
P=zeros(6,G); 
P(L12:Q)= 工 (1.1(Q-1)) 
PC,3:Q)=T(L1:(Q-2)); 
P(3,4:OQ)= 工 (1:(Q-3)); 
P(4.S:Q)=T(1 .1:(Q-4)); 
P(S.6:OQ)= 工 (1:(Q-3)); 
P(6.7:Q)= 工 (1:(Q-O0)); 


然后 使 用 newlind 函数 设计 线性 层 。 


net=newlind(P,T); 
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a=Simfnet, 也): 
Plot(Gme,Ttme,a,k 帮 -o ); 
legend( 给 定 输入 信号 网络 答 出 信和 号 ”7) 
figure 
plot(ttme,a- 工 ) 
title(" 误 差 曲线 ? 
线性 层 网 络 六 数 通 近 效 果 和 训练 误差 曲线 如 图 3-1 和 3-2 所 示 。 
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图 3-1 newlind 的 函数 逼近 效果 疼 图 3-2 ”训练 误 荆 曲线 效果 图 


10. newlvq 
应 用 : 建 联 一 个 学 习 天 重量 化 网 络 。 
格式 : net=newlvq 
net=newjlvq(PR, 1 PCLC, LR, 二 ) 
解析 : 学 习 矢 量 量化 网 络 主要 用 于 解决 分 类 问题 。 该 网 络 由 两 层 神经 元 组 成 ， 网 络 的 第 一 


层 为 范 争 层 ， 第 二 层 中 的 每 修神 经 元 上 只 渎 竞争 层 中 的 部 分 神经 元 相连 ， 网 络 中 的 每 个 神 红 元 都 


没有 闪 值 。 网 络 第 一 层 神经 元 的 传递 用 数 为 compet， 加 权 阔 数 为 negdist， 权 信 杞 始 化 函数 为 
midpoint; 网 络 第 二 层 神经 元 的 传递 国 数 为 purelin， 加 权 男 数 为 dotprod， 权 值 都 为 1。 网 络 使 
用 trains 和 trainr 函数 进行 目 适应 调整 和 训练 , 这 两 个 图 数 使 用 指定 的 学 习 图 数 对 竞争 层 神经 元 
的 权 值 进行 修正 。 其 参数 说 明 如 下 。 
PR: 网 络 输入 天 量 取 值 范 围 的 算 阵 [Pmin, Pmax]; 
S1: 竞争 层 神 经 元 的 个 数 ; 
PC: $ 〈 直 接 由 PC 的 维 数 确定 ) 维 矢 量 ， 其 中 8 为 网 络 输入 矢量 的 类 别 数 ， 也 是 输出 层 
的 神经 元 个 数 ， PCO) 为 网 络 输入 矢量 中 第 守 类 舌 量 所 占 的 比例 ， 色 输出 层 中 和 竞争 层 第 工 修神 
经 元 相连 的 神经 元 所 占 的 比例 : 
LR:， 学 习 速 雍 ， 和 默认 但 为 0.01; 
LEF:， 学 习 国 数 ， 可 以 是 learnjvl 下 learnlv2 困 数 ， 默 认 鸽 为 learnlvl， 网 络 只 有 先 司 用 
learnlvl 了 国 数 进行 尝 习 后 ， 才 能 册 用 learnlv2 进行 学 习 。 
【 例 3-10】 假 定 要 将 下 列 样 本 矢量 分 为 两 类 ， 每 类 所 占 的 比例 均 为 0.$。 
=[3-2-122-1; 
2-1]-123-2|; 
工 =[122112: 
建立 学 习 矢 量 量 化 网 络 ， 网 络 帝 争 层 由 四 个 神经 元 组 成 。 
net=newlvq([-2 3:-2 31.4,10.> 0.31); 
下 标 矢 量 了 必须 转化 为 单 值 矢 量 组 ， 才 能 作为 目标 天 量 使 用 
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工 1=lnd2vec(T); 
net=trainnet.P, 工 ); 
仿 芮 结 末 为 
Y=vec2lind(Cslimnet,P)) 
YY 王 

] 2 2 | | 了 
11. newhop 
应 用 : 该 函数 用 于 设计 一 个 Hopfield 网 络 。 
格式 : net=newhop 

net=newhop( 了) 

解析 :， net=newhop 用 于 在 对 话 框 中 创建 一 个 Hopfield 网 络 : 
T:， OO 个 目标 向 量 组 成 的 尺 XO@ 维 矩 阵 ， 和 矩阵 元 素 必 须 为 1 或 -1 
net:， 国 数 返回 值 ， 创 建 的 Hopfield 网 络 稳定 点 位 于 目标 同 量 工 中 。 
【 例 3-11】 创 建 -个 Hopfield 网 络 并 进行 仿真 。 
T=[-1 -11;1-1 1 ; 
驴 创 建 一 个 Hopfield 网 络 
net=newhop(J); 
Ai={[-0.9;-0.8;0.7] 
[Y.Pf AT =sim(net,{1 31 AID; 
YY{Eh 


-| -] ] 


由 于 Yflj=TGC, DJ)， 可 以 看 出 ， 设 计 的 Hopfield 网 络 已 经 成 功 地 将 存在 俩 兰 的 辣 量 Ai 技 换 
为 最 接近 的 目标 癌 量 了 。 
12.，， mewp 
应 用 : 构造 感知 器 模型 。 
格式 : net=newp(PR, S, TF, LE) 
解析 :， PR: Rx2 的 输入 向 量 最 大 值 和 最 小 值 构 成 的 甜 阵 ; 
S: 神经 元 的 个 数 ; 
TE， 传 输 函 数 设 置 ， 为 hardlim 函数 或 者 hardlins 函数 ， 晶 R 庆 为 hardlim 胃 数 : 
LF， 学 习 函 数 设 置 ， 为 learnp 函数 或 者 learnpn 函数 ， 默 认为 learnp 闲 数 : 
net: 生成 的 感知 左 网 络 。 
【 例 3-12】 生 成 具有 1 个 神经 元 的 神经 网 络 。 
% 输 入 回 量 
p=[1.24 1.36 1.38 1.38 1.38 1.4 1.48 1.254 1.20 1.14 1.18 1.2 1.26 1.28 1.3; 
1.72 1.74 1.64 1.82 1.9 1.7 1.82 1.82 2.08 1.78 1.96 1.80 2.0 2.9 1.90j|; 
狗 上 月 标 癌 量 
T=[111111111000000]; 
net=newp(|0 3;0 3],1); 


查看 工作 窗口 中 的 变量 ， 可 以 得 到 
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>> Whos 
Name NS17e Bytes “Class 
工 1x134 12U0 double array 
net 1x1 18343 network object 
PP 2X1S 240 double array 


UWrand total 1s 670 elements Using 18903 bytes 
net 时 变量 属性 是 网 络 对 象 的 结构 体 ， 可 以 输入 net 后 查看 net 的 结构 体 的 相关 信息 。 


>> Inputwelgths=net.Inputweights{] |】 
inputwelgths = 
delays: U 
inltFcn: Inltzero- 
learmmn: | 
learnEFcn: learnp 
learnParam: | 
S1Ze: [1 2] 
userdata: 11xXl Struct] 
welghtFEcn: dotprod 


通过 以 下 命令 但 看 神经 网 络 各 层 权 重 以 及 神经 元 册 值 情况 。 
>> net.IW{T1} 色 输 入 层 神经 元 权重 


dils 一 
U O0 
>> netLW{1} 饮 隐 层 神 经 元 权重 
lls 一 
上 
>> net.b{1} 多 神 经 元 阔 值 
as 一 
b 
13.，nmewrb 


应 用 : 构建 季 问 基 网 络 。 

格式 : [met, trlj=newrb(P T goal, spread, MN, DP) 

解析 : 在 径 问 基 网 络 设 计 中 , spread 参数 对 径 向 基 网 络 的 性 能 影响 较 大 , 通常 情况 下 , spread 
的 值 较 大 时 ， 径 问 基 网 络 逼 近 曲 线 越 光滑 ， 当 spread 值 过 小 时 ， 径 向 基 函 数 的 逼近 效果 就 会 变 
才 。 其 参数 说 明 如 下 。 

P、I: 分 别 为 如 练 样本 输入 和 上 且 标 输 出 ; 

goal: 为 径 癌 基 网 络 输 出 的 总 平均 误差 方差 : 

Spread: 为 生 问 基 图 效 radbas 的 密度 滑 数 : 

MN: 为 最 大 的 神经 数目 。 

【 例 3-13】 创 建 一 个 径 同 基 网 络 。 

P=[122343|: 

=|0.3 2.3 3.2 4.0 0.7 

err_goal=0.01 

Spr_cons=1; ”多 径 同 基 上 数 密度 常数 


net=newrb(P,L:err_goal,spr_cons): 
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A=Ssim(net,P) 驳回 代 检 验 
postreg(A, 
径 向 基 网 络 输出 和 训练 目标 输出 的 回归 曲线 如 图 3-3 所 示 。 回 代 检验 的 输出 结果 为 
A = 
0.9000 2.30UU00 3.2000 4.0000 06.7000 
对 新 样本 进行 训练 ， 输 入 以 下 程序 段 
>> D=3.3; 
>> a=Sim(netp) 
5 
3.5678 


newrb 吨 数 答 同 基 网 络 输 出 回归 曲线 如 图 3-3 所 示 。 


Best LImear Fit 六 = (人 了 + 抬 .Dee-15) 
7 


CO Data Polnts 





疼 3-3 newrb 国 数 任 同 基 网 络 答 出 回归 曲线 


14. mewrbe 

应 用 : 创建 一 个 准确 的 径 同 基 了 网络 ， 可 以 实现 网 络 输出 与 目标 输出 零 误 差 。 

格式 : net= newrbe(PTspread) 

newrbe 萎 数 参数 的 意义 与 newrb 完全 相同 ， 有 具体 介绍 见 newrb 函数 。 

【 例 3-14】 创 建 一 个 准确 的 径 问 基 曙 数 。 

P=|] 234 | ; 

工 =[0.9 2.3 3.2 4.6 60.7]; 

SPr_cons 一 | ; 

net=newrbe(P,IspPr_cons); 

A=slim(net, 了 P) 

postreg(A,1) 

pP=3.3; 

a=SIm(net,P) 

该 程序 段 首 先 使 用 newrbe 卫 数 创 建 一 个 准确 的 径 同 基 国 数 , 然后 使 用 训练 样本 数据 回 代 检 
难 ， 并 绘制 网 络 输出 的 回归 曲线 ， 最 后 给 出 测试 样本 的 输出 。newrbe 函数 准确 生 癌 基 网 络 输 出 
同日 标 矢 量 的 回归 曲线 如 图 3-4 所 示 。 可 以 发 现 此 时 newrbe 函数 创建 的 准确 生 癌 基 网 络 能 够 实 
现 卓 标 舌 量 堆 误差 输出 。 团 代 检 验 结 果 和 测试 样本 和 输出 结 示 如 下 

入 = 二 


1 -JE -Ed 
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0U.2>0U00 2.3000 3.2<UU0 4.0000 0.7000 


3.6339 多 同 newrb 函数 创建 的 径 向 基 网 络 输出 有 差异 


Best Linear Fit: A= (1)T+ (44 01e-015) 
7 


5 Data Points 
Best Linear Fi 
人 乓 二 下 


5 
5 
4 
2 
] 
0 





多 3-4 newrbe 函数 准确 径 向 基 网 络 输出 同日 标 向 量 的 回归 曲线 


12.， newpnn 

应 用 : 创建 一 个 概率 神经 网 络 。 

格式 : net=newpnn(PTspread) 

解析 : newpp 国 数 的 参数 意义 参见 newrb 函数 相关 介绍 。 下 面 通过 实例 演示 newpnn 邱 数 
【 例 3-15】 创 建 一 个 概率 神经 网 络 。 

P=[0023221:0212131] 


T=|1121212]: 

Tc=ind2vec(T) 

ind2vec 上 锣 数 将 下 标 变换 成 单 值 向 量 

一 
(二 ) 
(] 2) 
(2<,) 
(] ,4) 
(<) 
(1.0) 
(2,7) [ 


创建 概率 神经 网 络 ， 并 对 输入 样本 进行 训练 


>> net=newpnn(P,Tc); ”多 创 建 概率 神经 网 络 
Ac=stmnet, 了 ) 


je 


A=vec2ind(Ac) 色 将 早 全 癌 量 转化 为 下 标 形式 
届 出 后 末 为 
一 

| ] 2 ] 2 1 2 


人 外 输出 结 未 可 以 看 出 ， 回 代 误 差 为 0， 对 输入 向 量 进行 了 正确 的 分 类 。 对 新 的 样本 进行 训练 
>> b= 已 3;2 ]] 
a=vec2ind(slm(netp)) 
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返回 弦 为 
a 二 
] 2 

16.，newsom 

应 用 : 建 芯 一 个 目 组 织 映 射 网 络 。 

格式 : net=newsom 
net=newsSsom(PR, 1D1D2……| TITFCN DECN OLR, ONTEPS TLR， LIND) 

解析 : net=newsom 表示 在 对 话 杠 中 创建 一 个 狐 的 网 络 : 
PR: 民 个 输入 元 素 的 最 大 信和 最 小 但 议 定 仁 ， 尺 X2 维 窍 阵 : 
Di:， 第 上 层 的 维 数 ， 稚 认 为 [5，8]; 
TFCN: 拓扑 玉 数 《〈《 即 结构 吨 数 )， 的 认为 "hextop": 
DEFCN: 距离 国 数 ， 默 认为 "linkdist ”: 
OLR: 分 关 阶 段 竺 习 速 率 ， 默 认为 0.9: 
OSTEPS: 分 关 阶 段 的 步 长 ， 黑 认为 1000; 
TLR: 调谐 阶段 的 芝 习 速率 ， 默 认为 0.02: 
TND: 调谐 阶段 的 领域 中 离 ， 默 认为 ] 

【 例 3-16】 假 定 要 把 下 询 样 本 天 量 分 为 四 关 

P=13 -212-2-1-2 1 

2-1-123-223|; 
则 闹 要 建 芯 一 个 四 神经 元 的 目 组 织 遇 射 网 络 。 
net=newsom([-2 3;-2 3],[2 21); 
网 络 训 纤 和 仿真 结 采 为 


net=tramn(net,P); 
Y=vec2ind(SslimCnet,P)) 
人 PE 
千 1 3 才 2 ] 2 4 


3.2 ”神经 网 络 的 应 用 函数 


表 3-2 列 出 了 神经 网 络 的 基本 应 用 图 数 ， 筷 们 可 分 别 用 来 对 神经 网 络 进行 训 丝 、 显 示 、 初 
始 化 和 仿 其 ， 调 用 这 上 笃 函 数 可 以 完成 对 神经 网 络 对 象 的 基本 操作 。 


表 3-2 神经 网 络 的 应 用 上 函 数 


函 效 名 称 功 能 绩效 名 称 功 能 









adapt 对 神经 网 络 逐 层 进行 初始 化 
disp 8 

revert 对 神经 网 络 的 权 值 和 疯 值 重新 设置 为 初始 值 
display 
对 神经 网 络 的 参数 进行 初始 化 对 神经 网 络 进行 训练 
RN 待 初始 化 的 神经 网 络 对 神经 网 络 进行 仿真 


initwb 层 初 始 化 函数 各 生生 


si 。 
四 
呈 四 5 元 
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1， adqdapt 
应 用 : 对 神经 网 络 进行 目 适 应 训练 。 
格式 : [net, Y E, Pf, Af, tr]=adapt(net PT Pi, Ai) 
解析 : 输入 参数 说 明 如 下 。 
P: 训 练 样本 数据 ， 对 于 天 组 训练 样本 ， 丸 个 输入 端 ， 则 了 的 数据 格式 为 尺 X 关 的 数组 。 
T: 日 标 样本 数据 ， 相 对 应 于 了 P 数据 ， 则 为 1X 关 的 输出 癌 量 。 
Pi: 初始 化 输入 层 延 迟 条 人 竹 。 
Ai: 全 始 化 层 延 返 和 条件 。 
和 输出 参数 说 明 如 下 。 
Y: 神经 网 络 的 输出 数据 ， 数 据 大 小 格 却 同和 输入 的 目标 样本 数据 ， 为 1X 天 的 癌 量 。 
E: 神经 网 络 的 和 输出 误差 数据 ， 大 小 为 1X 天 的 回 量 ， 使 用 sse 图 数 或 者 mse 图 数 计算 网 络 
Pf: oem 
: 训练 后 的 网 络 层 延 运 条件。 
ff: ns 如 练 过 程 数 据 记 录 ， 包 括 epocbhs 各 Pref 数据 。 
对 例 3-12 构建 的 感知 器 网 络 进行 目 适应 训练 ， 得 到 以 下 绪 果 
>> [netbY, 了 上 ,PfAftrlj=aqdaptnet,p,T); 
>> 
Y= 


tlmesteps: ] 
perf: 0.4000 
>> Ise( 也 ) 
angs 二 
0.4000 
>> SSe( 上 上 ) 
ans == 
6 
2. disp 和 display 
应 用 : 显示 神经 网 络 对 象 的 属性 。 
格式 ，dispCnet) 
display(nefb) 
解析 : 这 两 个 冰 数 都 用 于 显示 神经 网 络 对 象 的 属性 ， 唯 一 个 同 乙 处 在 于 display 函数 人 还 要 显 
未 神经 网 络 对 象 的 名 称 ， 而 disp 则 不 显示 。 
3. nit 
应 用 : 对 神经 网 络 的 参数 进行 初 始 化 。 
格式 : net=init(net) 
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解析 : 该 秃 数 通过 调用 初始 化 函数 neLinitFcn， 并 根据 初始 化 函数 参数 netinitParam 对 网 络 
权 信 和 靖 值 进行 声 始 化 。 
4. Initlay 
应 用 : 对 每 一 层 的 结构 神经 网 络 进行 初始 化 。 
格式 : NET=initlay(net) 
Info=lnitlay(code) 
解析 : net: 竺 初始 化 的 神经 网 络 ; 
NET: 急 始 化 后 的 神经 网 络 : 
info=initlay(code): 根据 不 同 的 code 代码 返回 不 同 的 信息 ， 包 括 如 下 。 
pnames: 例 始 化 参数 的 名 称 。 
pdefaults: 默认 的 初始 化 参数 。 
通过 指定 神经 网 络 每 一 层 守 的 初始 化 函数 NETlayers{ij 来 调用 该 函数 ， 初 始 化 后 的 神经 网 
络 的 每 一 层 都 得 到 了 修正 。 
5: Intnw 
应 用 ， 对 层 神经 网 络 进行 初始 化 。 
格式 ， NET=initnw(net, 1) 
解析 : net: 符 锌 始 化 的 和 神经 网 络 ; 
1 层 庆 索 中 ; 
NET: 初始 化 后 的 神经 网 络 。 
6. Initwb 
应 用 : 廊 昂 数 也 起 一 个 层 的 仍 始 化 图 数 ， 它 按照 信 定 的 每 层 的 急 始 化 蚊 数 对 每 层 的 权 值 和 
痪 值 进行 初始 化 。 
格式 : NET=initwb(net, 1) 
解析 : net: 竺 初始 化 的 昼 经 网 络 : 
1:， 层次 索 中 | 
NET: 亡 始 化 后 的 神经 网 络 。 
【 例 3-17】 根据 给 定 的 输入 问 量 忆 和 目标 同 量 了 ， 创 建 一 个 感知 器 网 络 ， 对 其 进行 训练 并 
急 始 化 。 
P=[0101:001 : 
T=[1000]: 
net=newp([0 1 -2 2],1); 多 创建 一 个 感知 器 网 络 
% 感 知 器 的 P 和 靖 值 
net.lw1f{1l,1 | 
net.b{11 } 
% 对 感知 器 进行 训练 
ne 妨 trainetPT); 
net.1w1{T 1 
net.b{f ] } 
net=Inlt(net); 
net.tw{1 ,1| 
net.pfTI} 
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徐 出 | 结 朱 为 
WIRE 
0 
anS 六 要 1 本 
TRAINC, Epoch Q/100 
TRAINC, Epoch 4/100 
TRAINC, Performance goal met. 
an0s8 三 
] -] 
妈 iis 二 
0 
als 二 
-站 0 
RiIS 工 
U 


可 见 ， 在 感知 苍 刚 刚 创建 ， 疝 未 进行 训练 以 前 ， 权 值 和 较 值 都 为 0; 训练 以 后 ， 权 值 和 闪 
介 分 别 为 [1 2] 和 -3; 对 训练 好 的 网 络 进 行家 始 化 后 ， 恢 复 到 以 前 的 值 ， 都 为 0。 

7 revert 

应 用 : 访 函 数 将 网 络 中 的 权 便 和 浆 信 恢 复 为 初始 值 。 

格式 : net=revert(neb) 

解析 : 该 函数 将 网 络 中 的 权 值 和 赋值 恢复 为 最 近 一 次 初始 化 时 产生 的 初始 数值 ， 如 果 网 络 
结构 在 切 始 化 后 及 生 了 变化 ， 权 值 科 值 将 不 能 恢复 ， 这 时 将 把 它们 都 设置 为 0。 

8. train 

应 用 : 用 于 对 神经 网 络 进行 训练 。 

格式 :， [net tr 立 E, Pf, Af]=train(NET P 工 Pi, Ai 

[net tr 立 E, Pf Af]j= train(NET PT Pi, Ai, VV, TV) 

解析 : 输入 参数 说 明 如 下 。 

NET: 待 圳 练 的 神经 网 络 ; 

P: 网 络 的 输入 信和 号: 

T: 网 络 的 目标 ， 寺 认为 0 

Pi: 初始 的 输入 延迟 ， 默 认为 0; 

Ai: 初始 的 层次 延迟 ， 默 认为 0; 

VV: 网 络 续 构 确认 同和 量 ， 默 认为 空 ; 

TV: 网 络 结构 测试 同 量 ， 默 认为 至 。 

输出 参数 说 明 如 下 。 

net: 图 数 返回 但 ， 划 练 后 的 神经 网 络 ; 

tr: 国 数 返回 值 ， 训 练 记 录 〈 和 包括 步 数 和 性 能 ); 

Y: 图 数 返 回 值 ， 神 经 网 络 输出 信号; 

E: 图 数 返 回 值 ， 神 经 网 络 的 误差 ; 

Pf， 国 数 返 回 值 ， 最 终 输 入 延迟 ; 

Af: 国 数 返回 伍 ， 最 终 层 延迟 。 
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【 例 3-18】 使 用 train 函数 训练 感 知 器 网 络 。 
自 先 ， 输 入 训练 样本 和 吉 练 目 标 样 本 ， 创 建 单 神经 元 感知 项 网 络 ， 设 置 训 练 轴 数 train 国 数 
的 参数 ， 并 进行 训练 ， 训 练 过 程 曲 线 如 图 5 所 示 。 


色 输入 回 量 
P=[1.24 1.36 1.38 1.38 1.38 1.4 1.48 1.54 1.56 1. 14 1. 18 1.21.261281.3; 有 
EN 

狗 目 标 问 量 由 

了 工 =[1L11L 1 1111000000]: 
net=newpU0 3 3 1 
狗 训 练 国 数 train 的 参数 设置 
net.trainParam.epochs=3UU; 
net.trainParanmn. goil=0; 
net. trainPararm. show=50; 
9% 使 用 train 函数 训练 单 神经 元 感知 器 网 络 、 
[net'trY 三,Pft,Af=trainCnetP, 
% 使 用 测试 样本 数据 并 绘制 分 类 图 
figure 
p=[1.24,1.28,1.4,;1.8,1. 84， 2. 0U4]; 
a=SlImn(net,p); 
plotpv(p,aj); 
point=findobj (gca， ype， Tine); 
set(pointyColor:Tred);， 

hold on; 


plotpv(E 


plotpcCnet、 TIW1 1 ) net， 攻 1 人 


Perormance iD Goal IsS DO 


Training-BIue Goal-Black 
人 
四 


避 100 180 200 250 


0 5 
StDp Tralning | 266 Epochs 
加 3-5 单 神 经 元 感知 器 训练 过 程 曲 线 
然后 利用 训练 好 的 单 神经 元 感知 髓 模型 仿真 检验 样本 数据 ， 绪 果 如 图 3-6 所 示 。 


Vectors to be Classified 


测试 样本 数据 点 人 





1 1.2 1.4 1.6 1.8 
P 忆 (| 


图 3-6 ”测评 样本 训练 结 未 
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9. Sim 
应 用 : 对 神经 网 络 进行 仿真 。 
格式 : [Y, Pf Af E, prefj=sim(net  P Pi, Ai, T) 
[Y、 Pit. Af. E. prefl=slim(net, {Q TS PL AL T) 
[YY Pf, At, 已 , pref]=sltm(net, Q, Pi, Al, 工 ) 
解 机 : 输入 /得 出 参数 的 设 凌 和 说 明 可 以 参考 adapt 困 数 。 使 用 sim 函数 同样 可 以 实现 感知 
介 网 络 的 训 纤 。 利 用 上 文中 建立 的 感知 噩 神经 元 模型 ， 训 练 新 的 样本 数据 。 


= .24.1.28.1.4:1.8.1.84.2.041:;， 
a=Slm(net,p); 
答 出 结 末 : 
及 一 
] 1 1 


3.3” 权 值 和 靖 值 初始 化 函数 


权 值 和 赋 值 初 始 化 函 数 如 表 3-3 所 示 。 
表 3-3” 权 值 和 阔 值 初始 化 函数 


汪 人 人 对 阅 值 进行 公平 初始 化 对 权 值 进行 列 归 一 化 初始 化 
和 把 权 值 和 六 值 初始 化 为 夫 对 权 值 进行 行 归 一 化 初始 化 
midpoint | 。 把 权 值 初始 化 为 输入 矢量 值 域 的 中 心 对 权 值 和 阔 值 进行 随机 初始 化 


网 络 属 性 妈 直 : 

如 果 要 设计 网 络 第 7 层 的 权 值 和 国信 急 始 化 函数， 可 鬼 如 下 步 桑 进行: 

@@ 将 网 络 初始 化 数 net:initFEcn 设置 为 initlay ': 

@ 将 访 层 的 初始 化 函数 netlayers{fil.initFEcn 设置 为 'initwb'; 

@ 将 该 层 的 输入 权 值 、 网 络 权 值 和 交 信 的 初始 化 图 数 netinputWeights{ijyinitFcn 、 

net.layerWejghts{ijlj.initFcn 和 net.biases{ 计 .initFcn 分 别 设 置 为 期 望 的 初始 化 函数 。 

1 ntcon 

应 用 : 对 国 值 进行 公平 切 始 化 。 

格式 : B=initcon(S, PR) 

解析 : 当 网 络 阅 值 学 习 函 数 为 learncon 时 ， 需 要 采用 该 函数 对 阅 值 进 行 初始 化 ， 由 于 该 函 
数 返 辐 的 各 神经 元 的 阅 值 相等 ， 因 此 称 为 公平 初始 化 函数 。 访 了 责 数 - 一般 不 用 来 对 权 值 进行 初始 
化 。 其 参数 说 明 如 下 。 

S: 神经 元 的 个 数 ; 

PR: 和 输入 矢量 取 值 艺 转 的 矩阵 [Pmin Pmax]， 款 认 什 为 [1 ]]: 

B: 国 数 返 加 的 初始 国信 天 量 。 

【 例 3-19】〗 利 用 initcon 函数 对 一 个 两 神经 元 网 络 层 的 交 值 进行 初始 化 。 

b=lInitcon(2 ) 
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b = 
.4366 
S.4366 
2， Initzero 


应 用 : 把 权 值 科 值 初 始 化 为 堆 。 
格式 : W=initzero($, PR) 
B=IinlitzerolsS, [了 ) 
解析 : 该 函数 把 阔 值 和 权 值 都 初始 化 为 去。 其 参数 说 明 如 下 。 
PR: 输入 矢量 取 值 范 围 的 矩阵 [Pmin Pmax]， 采 用 W=initzero(S, PR) 式 时 ， 函 数 返 回 权 信和 炖 
阵 W; 采用 B=initzero(S, [1 1]) 式 时 ， 函 数 返 回国 值 天 量 B。 
【 例 3-20】〗】 利 用 initzero 函数 对 一 个 具有 两 神经 元 二 输入 的 网 络 层 进行 包 始 化 。 
W=initzero(2,10 1;-1 1) 


W = 

O 

0 U 
B=inltzerol2 ,人 (1 1) 
ERB = 

0 

OU 
3，mldpolnt 


应 用 : 把 权 值 初始 化 为 输入 天 量 值 域 的 中 心 。 

格式 ， W=midpoint(S, PR) 

解析 :， 该 函数 把 权 值 初始 化 为 输入 矢量 值 域 的 中 心 。 其 参数 说 明 参 见 前 面 的 介绍 。 
【 例 3-21】 利 用 midpoint 函数 对 一 个 具有 两 神经 元 二 输入 的 网 络 层 权 值 进行 初始 化 。 
W=midpoint(2,[0 1:-1 1]) 人 


W = 
0.S000 0 
0.S000 0 
4 randnr 


应 用 : 对 权 值 进行 行 归 一 化 初始 化 。 
格式 : W=randnr(S, PR) 
W=randnr(s, 也 ) 
解析 : 输入 $S 为 神经 元 个 数 ; 调用 形式 W=randnr(S, PR) 中 的 PR 是 表示 输入 矢量 取 值 范 赎 
的 矩阵 ， 调 用 形式 W=randnr(S, P) 中 的 R 为 输入 矢量 的 维 数 。 冰 数 返回 一 个 随机 权 值 窍 阵 W， 
矩阵 中 的 每 : - 行 都 经 过 归 一 化 。 
【 例 3-22】 产 生 一 个 3 行 3 列 的 行 归 一 化 随机 权 值 窍 阵 。 
W=randnr(3 ,3) 
W = 
0.9949 -0.0310 -0.09062 
-0.3970 0.$3787 -0./7121 
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0.24953 0.6120 U.79049 
Dranganc 
应 用 : 对 权 值 进行 列 归 一 化 初始 化 。 
格式 : W=randnc(S, PR) 
W=randnc(S，P) 
解析 : 输入 $ 为 神经 元 个 数 ; 调用 形式 Ww=randnc(S, PR) 中 的 PR 表示 输入 矢量 取 值 范围 的 
业 阵 ， 调 用 形 却 W=randnc(S, P) 中 的 R 为 输入 矢量 的 维 数 。 函 数 返 回 一 个 随机 权 值 矩阵 W， 和 所 
年 中 的 每 一 列 都 经 过 归 一 化 。 
【 例 3-23】 产生 一 个 3 行 3 列 的 列 归 一 化 随机 权 值 矩阵 。 
W=randnc(3.3) 羡 攻 ER 
和 本 可 加 
-0.1735 0.7240 -0.1545 
0.30621 0.4088 U. 71137 四 四 机 ， 
0.9158 -0.5556 0.6832 硬 
6，rands 
应 用 : 对 权 值 和 靖 什 进行 随机 初始 化 。 
格式 : W=rands(S, PR) 
NM=rands(S, 人 ) 
B=rands(es ) 
解析 : 调用 形式 W=rands(S，PR) 和 M=rands(S，R) 都 可 以 返回 随机 权 值 抵 阵 ， 调 用 形式 
B=rands(S) 返 回国 值 天 量 。 其 他 参数 说 明 则 上 。 
WE 


TO 3) 

-0.1795 -0 2943 -0 7222 | UL 
0 0.6263 -0.5945 加 
-0.8842 -0.9803 -0.6026 


3.4 ”训练 和 自 适 应 调整 函数 


网 络 的 划 练 和 明天 应 调整 轴 数 如 表 3-4 所 示 。 
表 3-4 网 络 的 训练 和 自 适 应 调整 函数 





约 数 名 称 功 能 
trainb 根据 已 该 定 的 权 值 和 冰 什 学习 图 数 对 网 络 进行 批量 训练 
trainc 根 撕 已 虑 定 的 权 值 和 浆 值 党 习 函 数 对 网 络 进行 循环 训练 
tralnr 恨 据 已 设 定 的 权 值 和 阅 值 党 习 畏 数 对 网 络 进行 随机 训练 
trains 根据 己 充 定 的 权 什 和 值 学 习 国 数 对 网 络 进行 顺序 训练 
trainbr 采用 贝 叶 斯 正则 化 算法 对 网 络 进行 训练 

Irainbfg 炒 用 BFGS 标准 牛顿 及 回 传 播 算法 对 网 络 进 行 训 纤 


traincgb 有 米 用 Powell-Beale 共生 杭 度 反 向 传播 算法 对 网 络 进行 训 绕 
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续 表 

函数 名 称 功 能 
traincgf 及 用 Fletcher-Powell 共 斩 梯度 反问 传播 算法 对 网 络 进行 训练 
traincgp 采用 Rolak-Ribiere 共 辆 梯度 反问 传播 算法 对 网 络 进行 训练 
trainsc 采用 扩 度 化 共 辆 反 向 传播 算法 对 网 络 进行 训练 
traingd 洲 用 榜 度 下 降 反 加 传播 算法 对 网 络 进行 训练 
traingda 采用 自 适 应 学 习 速 率 梯 度 王 降 反 向 传播 算法 对 网 络 进行 训练 
traingdm 采用 动量 梯度 下 降 反 回 传 播 算法 对 网 络 进行 训练 
traingdx 采用 自 适应 学 习 速 率 动 量 梯度 下 降 反 回 传 摄 算 法 对 网 络 进行 训练 
trainlm 采用 Levenberg-Marquardt 反 同 传播 算法 对 网 络 进行 训 红 
trajnoss 采用 一 步 正 割 反 向 传播 算法 对 网 络 进行 训 终 
trainrp 采用 弹性 反射 传播 算法 对 网 络 进行 训练 

1，tramb 


应 用 : 用 于 神经 网 络 权 值 和 国 值 的 旭 练 。 
格式 : [NET, TR,Ac, E1]=trainb(net Pd, Tl, Ai Q, TS, VVTV) 


Info=tralnb(code) 


解析 : trainb 函 数 实 现 对 网 络 的 批量 式 训 练 。 所 育 批 量 式 训 练 ， 是 指 网 络 在 接收 全 部 样本 
矢量 数据 后 ， 才 对 网 络 的 权 值 和 国 值 进行 调整 。 当 训练 函数 属性 nettrainFcn 为 trainb' 时 ， 网 络 
有 具有 以 下 训练 参数 。 


@ net.trainParam.epochs: 最 大 训练 人 次数， 网络 每 接收 一 轮 输 入 数据 并 进行 调整 称 为 一 雇 
训练 ， 该 参数 的 默认 信 为 100: 

昌 net.trainParam.gsoal:， 网 络 的 性 能 目标 ， 默 认 值 为 0; 

@ net.trainParam.max_fail， 最 大 验证 失败 次 数 ， 默 认 但 为 3; 

@ net.trainParam.show: 两 次 显示 之 间 的 训练 次 数 ， 默 认 什 为 25: 

@ nettrainParam.time: 最 长 训练 时 间 〈 以 秒 计 )， 默 认 值 为 inf。 

其 参数 说 明 如 下 。 

net: 竺 训练 的 神经 网 络 ; 

Pd: 已 延迟 的 输入 信号; 

T1:， 层 目 标 ; 

Ai: 初始 的 输入 :; 

Q: 批量 ; 

TS: 时 间 步 长 ; 

VV: 确认 同 量 或 者 为 至 拭 阵 : 


YYV， 


测试 向 量 或 者 为 空 矩阵 : 


NET: 函数 返回 值 ， 训 练 后 的 神经 网 络 ; 


工人 : 
Ac: 
下 : 


图 数 返 回 值 ， 每 一 步 的 训练 记录 ; 
训练 停止 后 ， 于 合 层 的 输出 : 
训练 停止 后 的 旋 专 。 


图 数 的 调用 形式 info=trainb(code) 将 返回 训练 函数 的 有 天 信 息 ，code 字符 串 的 取 值 为 : 
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@@ pnames: 返回 训练 参数 的 名 称 ; 
@ 。 pdefaults: 妈 回 训练 参数 的 默认 但 。 
网 络 属性 设置 : 
newlin 冰 数 建立 的 网 络 采 用 trainb 作为 训练 轴 数 ， 如 果 要 使 自 定 义 网 络 利用 trainb 旺 数 进 
行 串 练 ， 可 作 如 下 设置 : 
(1)》 将 网 络 训练 函数 net.trainFcn 设置 为 trainb'; 
(2) 设置 网 络 训 练 图 数 的 参数 net.trainParam; 
(3) 放置 各 输入 权 仁 、 网 络 权 信和 交 什 的 笠 习 函数 netinputWeights{fi,j}.learnFcn、net.layer 
Welights{ij}.learnFcn 和 net.biases{i}.learnFcn; 
(4) 设置 各 权 全 和 国 值 荣 习 轴 数 的 参数 netinputWeights{ij}.learnParam、netlayerWeights{i jl 
learnParam 和 net.biases{ij.learnParam。 
<: tralnc 
应 用 : 根据 已 姑 定 的 权 值 和 浆 值 学 习 图 数 对 网 络 进行 循环 训练 。 
格式 : [net TR, Ac,E1]=traincCnet Pd, T1, Ai Q, TS, VV, TV) 
Info=tralnctcode) 
解析 : trainc 六 数 对 网 络 进行 衢 环 训练 。 所 袁 衢 环 训练 ， 是 指 网 络 每 接收 一 个 输入 数据 ， 
怠 要 对 权 值 和 阔 什 进行 一 次 调整 ， 而 且 输 入 数据 是 以 夭 环 队列 的 形式 进行 排列 的 。 网 络 训练 函 
数 属 性 net.trainFcn 为 trainc 时 ， 网 络 的 如 练 参 数 和 trainb 参数 含义 相同 。 其 输入 量 和 返回 量 的 
合 义 同 前 面相 同 参 效 的 合 义 。 
网 络 属 性 议和 直 : 
newp 图 数 建立 的 网 络 采 用 trainc 作为 如 练 图 数 ,如 采 要 使 目 定 义 网 络 利用 trainc 函数 进行 如 练 ， 
可 作 如 下 议 置 : 除了 将 网 络 训练 图 数 nettrainFcn 放 首 为 trainc' 外 ， 有 其 他 说 置 与 trainb 一 样 。 
3，tralnr 
应 用 : 根据 已 议定 的 权 信 和 国 值 学 习 国 数 对 网 络 进行 随机 训 红 。 
格式 : [net TR, Ac, E]=trainr(net, Pd,T1, Ai Q, TS, VV, TV) 
info=trainr(code) 
解析 : train 国 数 对 网 络 进 行 随机 训练 。 上 所谓 随机 训练 ， 是 指 网 络 每 接收 一 个 输入 数据 ， 就 
此 对 权 值 和 卫 信 进行 一 次 调整 ， 而 且 输 入 数据 是 以 随机 顺 序 排列 的 。 当 网 络 划 练 函数 的 属性 
net.trainEcn 为 'trainr' 时 ， 网 络 的 训练 参数 与 trainc 函数 相同 。 
其 参数 会 义 也 与 trainc 相同 。 
newc 和 newsom 数 建立 的 网 络 都 来 用 trainr 作为 训练 函数 ， 如 果 要 使 自 定 义 网 络 利用 
trainr 函数 进行 训练 ， 可 作 如 下 次 置 : 除了 将 网 络 训练 函数 net.trainFcn 设置 为 trainr 外 ， 其 他 的 
设置 与 trainc 相同 。 
4. tralns 
应 用 : 根据 已 说 定 的 权 值 和 阅 全 第 习 图 数 对 网 络 进行 顺序 训 练 。 
格式 : [net TR, Ac,E1]=trains(net, Pd, T1 Ai Q, TS VV, TV) 
Info=tralnf(code) 
解析 :trains 函数 依据 书 设 定 的 权 值 和 靖 值 学 习 冰 数 对 网 络 进 行 顺序 训练 。 所 谓 顺 序 训练 ， 
是 指 输入 数据 按 排 列 顺 序 依次 进入 网 络 , 网 络 每 接收 一 个 输入 ,了 吏 对 权 信 和 靖 信 进行 一 詹 幸 整 。 
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衣 曙 数 多 设置 为 网 络 的 自 适 应 调整 函数 。 当 网 络 的 自 适 应 调整 函数 属性 net.adaptFcn 为 'trains' 
时 ， 网 络 的 目 运 应 调整 参数 如 下 。 

net.adaptParam.passes: 目 适 应 调整 次 数 。 网 络 接站 一 轮 输入 数据 后 并 对 权 值 和 几 值 进行 更 
狐 称 为 一 次 调整 ， 该 参数 默认 值 为 1。 

当 网 络 训 纤 图 数 属 性 net.trainFcn 为 "trains' 时， 网 络 的 训练 参数 如 下 。 

net.trainParam.passes: 训练 次 数 ， 默 认 值 为 1。 

trains 部 妾 在 调用 时 各 输入 量 和 返回 量 的 含义 参见 trainb 函数 。 函 数 输 出 的 训练 记录 TR 由 
网 络 训 练 的 时 间 步 数 TR.timesteps 和 训练 性 能 TR.perf 两 项 组 成 。 

newp 和 newlin 函数 建立 的 网 络 都 采用 trains 函数 作为 自 适应 调整 函数 , 如 果 要 使 自 定 义 网 
络 利用 trains 函数 进行 调整 ， 可 作 如 下 放置 : 除了 将 网 络 训练 函数 net.adaptFcn 设置 为 trains' 以 
及 议 置 网 络 训练 图 数 的 参数 net.adaptParam 外 ， 其 他 设置 和 trainb 一 样 。 

5. tralnbr 

应 用 : 采用 贝 叶 斯 正则 化 算法 对 网 络 进行 训练 。 

恪 式 : [net TR, Ac, E1]=trainbrCnet, Pd, T1L Ai Q, TS, VV, TV) 

info=tralnr(code) 

解析 : trainbr 图 数 依据 Levenberg-Marquardt 优化 理论 对 网 络 的 权 值 和 靖 值 进行 调整 。 所 育 
Bayesian 正则 化 ， 古 指 为 了 近 融 网 络 的 推广 能 力 ， 训 练 过 程 中 要 建立 一 个 由 各 层 输出 误差 、 权 
全 和 国 值 构成 的 特殊 性 能 参数 《〈 访 参数 的 定义 类 似 于 规则 化 均 方 误 兰 图 数 msereg)， 通 过 调整 
人 权 值 和 靖 伍 ， 使 坪 参 数 最 小 化 。trainbr 函数 的 优点 在 于 可 以 提高 网 络 推广 能 力 ， 而 且 不 会 出 现 
“过 上 度 划 练 ” 的 情况 。 当 网 络 和 输入 和 目标 天 量 的 取 值 为 [-1 HI 时 ，trainbr 轴 数 可 以 达到 最 好 的 工 
作 效 采 ， 因 此 在 利用 trainbr 函数 对 网 络 进行 训练 之 前 通 冲 应 预先 对 样本 数据 作 妇 一 化 处 理 。 

当 了 网 络 的 吉 练 图 数 nettrainFcn 为 'trainbr 时 ， 网 络 的 训练 参数 为 : 

@ nettrainParam.epochs: 训练 次 数 ， 默 认 值 为 100; 
net.trainParam.goal: 网 络 性 能 目标 ， 默 认 人 为 0 
net.trainParam.mu: Marquardt 调整 参数 ， 默 认 值 为 0.005; 
net.trainParam.mu_dec: mu 的 下 降 因 子 ， 默 认 值 为 0.1; 
net.trainParam,mu_inc: mnu 的 上 升 因 子 ， 默 认 便 为 10; 
net.trainParam.mu_max: mu 的 最 大 什 ， 默 认 信 为 le-10; 
net.trainParam.max_fail， 最 大 验证 失效 次 数 ， 鸭 认 仁 为 $; 
net.trainParam.mem_reduc: 该 参数 用 于 权 衔 计算 雅 可 比 矩 阵 时 占用 的 内 存 空 间 和 计算 
速度 ， 夫 认 但 为 1。 当 该 因 了 于 为 1 时， 计算 时 占用 的 内 和 存 最 大 ， 但 计算 速度 最 快 ， 当 
该 因 于 增 大 时 ， 计 算 时 占用 的 内 存 减 小 ， 但 计算 的 速度 也 随 之 减 慢 ; 

@ nettrainParam.min_grad: 性 能 数 的 最 小 梯度 ， 默 认 值 为 le-10; 

@ net.trainParam..show: 岗 次 显 砂 之 图 的 训练 次 数 ， 默 认 什 为 29; 

@ ”nettrainParam.time: 最 长 训练 时 间 〈 以 秒 计 )， 默 认 值 为 inf。 

trainbr 函数 在 调用 时 各 输入 量 和 返回 量 的 含义 参见 trainb 函数 。 

new 华 、newcf 和 newelm 图 数 建立 的 网 络 都 可 以 采用 trainbr 图 数 作为 训练 图 数 。 内 要 网 络 
的 加 权 函 数 、 输 入 图 数 和 传递 图 数 是 可 敌 分 的 ， 那 么 赵 网 络 融 可 以 利用 trainbr 函数 进行 训练 ， 
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如 果 要 使 网 络 利用 trainpr 函数 进行 训练 ， 可 作 如 下 设置 

(1) 将 网 络 训练 图 数 net.trainFcn 设置 为 '"trainbr ; 

(2) 妇 阐 网络 训 练 函 数 的 参数 net.trainParam 。 

6. tralnbfg 

应 用 : 采用 BFGS 标准 牛 顿 反 回 传播 算法 对 网 络 进行 训练 。 

格式 : [net, TR, Ac, E1]=trainbfg(net Pd T1, Ai Q, Ts, VV, TV) 

Info=tralinbfg(code) 

解析 : trainbfg 郊 效 依据 BFGS 标准 牛顿 反 同 传播 算法 对 网 络 的 权 值 和 值 进行 调整 ， 该 算 
法 收 敛 较 快 ， 但 占用 的 内 存 比 共 斩 梯 度 算 法 要 大 ， 因 此 适用 于 较 小 规模 的 网 络 。 

trainbfg 函数 及 其 他 一 些 采 用 标准 牛顿 算法 和 共 辆 梯度 算法 的 训练 函数 都 要 使 用 线 搜索 函 
数 ， 因 此 当 网 络 的 训练 亢 数 net'trainFcn 设 为 此 类 函数 时 ， 网 络 的 训练 参数 将 由 常规 参数 和 线 搜 
案 参 数组 成 ， 其 中 第 规 参 数 包 括 : 
net.trainParam.epochs: 训练 次 数 ， 默 认 信 为 100; 
@ nettrainParam.goal: 网 络 性 能 目标 ， 执 认 仁 为 0; 
@ nettrainParam.max_fail: 最 大 验证 失败 次 数 ， 默 认 值 为 9; 
和 ”nettainParam.min_grad: 性 能 函数 的 最 小 柜 ， 罗 9 认 值 为 le-6; 
各 
熏 


net.trainParam.show: 两 次 显示 之 间 的 训练 次 数 ， 默 认 值 为 23; 
net.trainParam.time: 最 长 训练 时 间 〈 以 秒 计 )， 默 认 值 为 inf。 
线 搜 索 参 数 包 括 : 
@ hnet.trainParam.searchFcn: 训 练 时 水 用 的 线 搜 索 方 法 ， 默 认 值 为 "Srchcha': 
@ “nettrainParam.scal tol， 确定 线 搜 索 误 差 的 尺度 因子 ， 默 认 值 为 20， 初 始 步 长 delta 除 
以 充 参 数 后 得 到 线 搜 索 结果 的 误差 ; 
net.trainParam.alpha: 确定 性 能 郧 数 和 下降 是 合 足 够 大 的 尺度 因子 ， 默 认 值 为 0.001; 
net.trainParam.beta: 估 定 步 长 是 否 和 下 使 大 的 尺度 因 了 于 ， 默 认 值 为 0.1; 
net.trainParam.delta: 区 辐 定 位 时 的 要 始 步 长 ， 默 认 什 为 0.01; 
net.trainParam.gama: 避免 性 能 图 数 下 降 过 小 的 参数 ， 默 认 值 为 0.1; 
net.trainParam.liow lim:， 步 长 变化 下 界 ， 默 认 值 为 0.1; 
net.trainParam.up_lim: 妙 长 变化 上 寞 ， 默 认 信 为 0.5; 
net.trainParam.maxstep: 最 大 步 长 ， 玲 认 值 为 100; 
net.trainParam.minstep: 最 小 步 长 ， 默 认 值 为 1.0e-6; 
@ nettrainParam.bmax: 最 大 步 长 〈 与 maxstep 在 不 同 搜索 算法 中 分 别 使 用 )， 默 认 值 为 26。 
new 储 、newcf 和 newelm 函数 建立 的 网 络 都 可 以 采用 trainbfg 函数 作为 训练 图 数 。 只 要 网 络 
的 加 权 因 数 、 输 入 函数 和 传递 国 数 是 可 微分 的 ， 那 么 该 网 络 惑 可 以 利用 trainbfg 图 数 进行 训练 ， 
如 条 要 使 网 络 利用 访 胃 数 进行 训练 ， 可 作 如 下 议 置 : 
(1) 将 网 络 训练 图 数 nettrainFcn 设置 为 'trainbfg'; 
(2) 充 置 网 络 训 纤 数 的 参数 net.trainParam 。 
7 tralngd 
traingd 函数 使 用 梯度 下 降 算 法 训练 神经 网 络 ， 通 过 nettrainParam 可 以 查看 traingd 图 数 网 
络 训 练 的 相关 参数 。 
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P=[1.24 1.36 1.38 1.38 1.38 1.4 1.48 1.94 1.56 1.14 1.18 1.2 1.26 1.28 1.3: 
1./21.741.04 1.821.9 1.7 1.82 1.82 2.08 1.78 1.96 1.86 2.0 2.0 1.96]: 
net=newt(mlinmax(P),[3,1],f logslig,purelin },traingdq'); 
net.tralinPararm 
amag = 
epochs: 100 
go 让 jj: O 
]r: 0.0100 
Iax faill: 
mln_grad: 1.0U0UUe-010 
Show: 235 
tme: jnf 


使 用 traingd 函数 进行 蝶 虫 分 类 ， 在 MATLAB 命令 窗口 中 输入 


net=new 娘 (minmax(P),[>,],flogslg,purelin },traingd ); 
net.trainParam.show=50: 

net.tralnParam.lr=0.2; 

net,tralnParam.epochs=300; 

net.trainParam.goal=0.01; 

[nettr]=train(net,P,T): 

和 回 代 检验 

A=slm(net,P); 

% 测 试 梓 本 检验 


a=Slm(net, 了 ); 
位 验 绩 有 宁 如 下 


引 一 
0U.0782 0.5807 0U.4327 


网 络 如 纤 过 程 均 方 震 下 降 曲 线 如 图 3-7 所 示 。 为 了 比较 各 种 不 同 训练 图 数 的 特点 ， 在 后 面 
的 实例 中 ， 将 统一 使 用 野 虫 分 类 问题 的 训练 样本 数据 和 测试 样本 数据 。 


erformance ISO0O.0128372， Coalis0O.01 


到 
(一 


TImInG-EBiue 心 oa 引 -日 acCk 
己 己 
图 


109 < Ubb 300 


300 万 Pochs 
图 3-7 网络 训练 过 程 均 方 差 (mse) 下 降 曲 线 


8. tralingdm 
同 traingd 函数 相似 ,traingdm 采用 动量 梯度 下 降 法 训 练 BP 网 络 , 通 过 设置 net.trainParam.mc 
来 设置 动量 因子 的 大 小 。 
net=fnewfftomninmax(P),[3$,1],{logsig ,purelin } ,traingdm ); 
net.tralnParanm 
ans = 
epochs: 1U0 
goal: (0 


MATLAB 神经 网 络 仿真 与 应 用 


]r: 0.0100 
max fall': 9 
mc: b.9000 
min_grad: 1.0000e-010 
Show: 2 
tme: Tt 


任 MAILAB 命令 行 窗 口中 输入 


net=new 仁 (minmax(P), 上 1,fliogsig ,purelin traingdm: 
net.traimParam.Show=S0: 

net.tralnParam.lf=-0.1: 

net.tramnParam.mc=(0.9: 

net.tralnParam.epochs=300; 

net.trainParam.goal=0.01; 

[net,trj=train(aetP,T); 

多 回 代 检验 

A=Slimnet,P); 

多 测试 梓 本 检验 


a=SIm(net, 了 了): 

如 和 网 3-8 所 示 为 traingdm 函数 训练 过 程 曲线 。 训 练 后 的 网 络 对 测试 样本 的 输出 为 

3 一 
0.67054 0.9041 0U.4307 


Performance is D.0252215 Goalis 0.D01 


TIRIng-BIue 人 Ooal-Black 
| 


1 已 200 3UU0 


300 上 pochs 
图 3-8 traingdm 冰 数 训练 过 程 曲线 


9. tralngda 

当 BP 网 络 使 用 traingd 函数 和 traingdm 函数 训练 时 ,学习 速 率 在 训练 过 程 中 保持 恒定 不 变 ， 
乾 么 圳 练 朱 对 学 习 速 率 的 灵敏 度 影响 较 大 ， 不 同 的 学 习 速 率 对 网 络 的 训练 结果 影响 较 大 。 如 
未 学 习 速 雁 过 大 ， 那 么 网 络 将 变 得 不 稳定 ; 如 果 学 习 速 率 过 小 ， 那 么 网 络 收敛 速度 慢 ， 训 练 时 
加 大 六 加 长 。 

因此 ， 对 于 给 定 训 练 样本 和 目标 样本 ， 必 须 首 先 确定 最 优 的 学 习 速 率 。 而 traingda 丽 数 为 
变 学 习 速 次 的 网 络 训 练 算 法 ， 可 以 有 效 地 克服 学 习 速 率 难 以 确定 的 缺点 ， 在 训练 过 程 中 自 适 应 
改变 学 习 速 率 的 大 小 。 

net=newftmninmax( 了 P),[9,1],{flogslg,purelin },traingda'); 

net.traanParam 

ans 三 

epochs: 100 
goal: 0 
1r: 0.0100 
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fr inc: 1.0300 
1r_ dec: 0.7000 
max fall: 
max_petft _lnc: 1.0400 
mlin_grad: 1.0000e-006 
Show: 23 
tme: [nt 


在 MATLAB 命令 窗口 中 输入 以 下 程序 段 


net=newft(minmax(P),[9,1jfliogslig ,purelmn traingda ); 
net.trainParam.show=5U， 
net.trainParam.lT=U. 1 ; 
nettralinbParam.lr lnc=1.0>; 
net.trainParam.ir dec=0.83; 
net.trainParam.epochs=300; 
net.tralnParam.goal=0U.01]; 
Inet,trj]=tralnnet, 已 , ]); 
狗 回 代 检 验 
A=slm(net, 了 已 ); 

9 测试 样本 检验 


a=SIm(net: 了 ); 


如 图 3-9 所 示 为 traingda 函数 训练 过 程 曲 线 ，BP 网 络 对 测试 样本 的 输出 结束 为 


人 一 
0.4192 0.3941| 0 7764 
Perbmanceis 000990074, Goal is 0.01 
10 | 
司 
人 
es 
53 Epochs 
图 3-9 traingda 琐 数 训练 过 程 曲 线 
10. traingqdx 


traingdx 函数 结合 了 自 适 应 改变 学 习 速 率 和 动量 法 ， 和 traingda 函数 完全 相同 ， 只 均 增 加 了 
一 个 动量 因子 参数 mc。 
net=newfftoninmax(P),[$,1],{logsig ,purelin j ,traingdx); 
net.trainParam 
angs = 
epochs: 1U0 
goOal: 
ir: U.U1UU 
ITr dec: 0.7000 
lir inc: 1.03U0 
max_ fail: 
max_perf inc: 1.0400 


到 
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mc: 0.9000 人 
mmin_grad: 1.0000e- 006 
show: 25 

tme: Inf 


在 MATLAB 命令 行 窗口 中 输入 


net=newff(minmax(P)， [>， 11]， { gsSig， RN | ， Traingdx ) 
Tet， trainParam. Show=530; 
net.tralnParam.lr=-0.] ; 
net.trainParam.lr_inc=1， 05; 
net.trainParam.lr _dec=0， 85; 
et trainParam. mc=O.9; 

net. trainParam. epochs=300; 
net.trainParam.goal=0.01; 
[nettrj=trainnebP,TD; 
狗 回 代 检 验 、 
A=sim(netP): 

% 测 试 样本 检验 


a=Slim(net,P); 


如 图 3-10 所 示 为 mained 明 数 如 练 过 + 各 测 续 ， 加 汉人 本 的 区 出 后 二 


3 一 
0.5880 0.6223 0.5236 
< Perormance is 0.0372794，Goal is 0.01 
站 10 
人) 
有 100 20UUo 300 
300 Epochs 
图 3-10 traingdx 函数 训练 过 程 曲线 
11. tralnrp 


前 面 介 绍 的 所 有 训练 图 数 大 都 采用 村 度 的 变化 量 作为 权重 和 国 全 的 变化 依据 ， 但 是 当 数 
企 极 值 劳 非 营 平 坦 时 ， 些 时 樟 度 的 变化 量 非 钊 小 ， 那 么 权重 和 赋 值 的 变化 将 非 章 小 ， 过 小 的 梯 
度 变化 一 方面 导致 网 络 训练 收敛 速度 非 冲 慢 ， 另 一 方面 又 使 网 络 无 法 达到 训练 的 性 能 要 求 。 

trainrp 国 数 可 以 克服 这 方面 的 缺点 ，trainrp 阔 数 使 用 误差 梯度 的 方 癌 来 确定 权重 和 浆 值 的 
变化 ， 而 误差 梯度 的 大 小 对 权重 和 国 值 的 变化 没有 任何 作用 ， 权 重 和 国 值 的 变化 量 由 另外 两 个 
参数 delt_inc 和 delt_dec 来 确定 。trainrp 印 数 的 训练 参数 设置 为 

net=newffninmax(P)， [3， 二 Jogslg， ai 0 ee 央 

net. TrainParam 四 人 

amns 三 

cpochs: 100 
Show: 25 
goal: 
time: Inf 
min_grad: 1.0000e-006 
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Inax fall: 
delt_linc: 1.2000 
delt_dec: 0.5000 
delta0: 0.0700 
deltamax: 90 


在 MAITLAB 命令 行 窗 口中 输入 


net=new(minmax(P),[3,1jflogsig ,purelin ], trainrp ); 
neft.traltnParam.show=50; 

net.tralnParam.,epochs=30U; 

net.trainParam.goal=0U.U1; 

net.tralnParam.delt imc=1.9; 
net.trainParam.,delt_dec=0U.4， 

[nettr]=train(net,P.T); 

% 回 代 检 验 

人 A=SImCOnet 了); 

名 测试 样本 检验 


a=Simnet, 了 ); 
如 图 3-11 所 示 为 trainrp 国 数 训 练 过 程 曲 线 ， 测 弃 梓 本 竹 出 结 斥 为 
妃 一 

0.7422 0.8200 0U.2832 


Perormance jiS 0D0.00996244 ， 与 Oal isS 日. 晶 1 


品 100 150 2W0 250 


站 
251 Epechs 
和 外 3-11 trainrp 落 数 训练 过 程 曲 线 


10- 





Training-Blue 忆 oal-Black 


12. tralncdf 

前 而 介绍 的 所 有 BP 网 络 训练 函数 大 午 采 用 负 柿 度 方 同 ， 即 按 远 种 下 降 方 癌 进行 搜索 ， 这 
样 的 搜索 案 略 可 以 使 月 标 遇 数 即 网 络 训练 诈 着 下 降 速 率 最 快 ， 但 是 却 不 能 保证 网 络 最 快 收 伍 ， 
因此 提出 了 共 斩 梯 度 算 法 ， 搜 索 方 癌 为 共 辆 梯度 方 辣 。 

共生 杭 上 度 算 法 训练 图 数 包 括 traincgf 函数 、traincgp 图 数 、traincgb 国 数 和 trainscg 郊 数 。 接 
下 来 将 介绍 共 辆 梯度 算法 函数 。 


net=newffCOninmax(P),[$,1],{logsig,purelin },traincgft ); 
net.tralnParam 
ans = 
epochs: 100 
show: 23 
goal: 
tlme: Jr 
mlin_grad: 1.00U00e-UU0 
max_fal: 4 
SearchFcn: srchcha. 


MAITILAB 神经 网 络 仿 真 与 应 用 


scale tol:20 旦 
alpha: 1.0000e-003 ee 
beta: 0.1000 二 
delta: 0.0100 
gama: 0.1000 
low_lim: 0.1000 
up_lnm: 0.3000 
maxstep: 100 ER 4 | 四 可 
minstep: 1.0000e- UU0 本 本 加 则 
bmax: 26 


在 MAILAB 命令 行 窗 口中 输入 


net=newff(minmax(P)， [人 ,] flogsig'， | ， tramncgt ); 二 汪 
net.tralnParam. show=5S0; 

net.trainParam. epochs=300; 

Det. trainParam， goal=0.01; 

nettrainParam searchFcn= 全 和 

[nettrj=traln(net 了, 了); 

% 回 代 检 验 

A=SslmCnet,P); 

多 调试 桩 本 检验 


a=SlIm(net,P)， 


traincgf 汐 数 BP 网 络 如 练 过 程 曲 线 如 图 3-12 所 示 。 网 络 训练 迭代 过 程 信 息 及 测试 样本 的 输 


出 疆 二 如 下 
3 一 
0.4435 0.9370 “0.$61] 
站 Perormance IsS 0.00802359 Goal ijS 0.01 
丁 
机 10? 
he 
5 10 
i 订 语 56 
多 3-12 traincgf 函数 BP 网 络 训 练 过 程 曲 线 
人 tralincgp 


本 traincgf 函数 相同 ,traincgp 函数 采用 共 斩 梯 度 算法 进行 BP 网 络 训练 ，traincgp 函数 的 训 
练 参数 与 traincgf 完全 相同 ， 具 体 参 数 设置 见 traincgf 图 狂 。 
使 用 traincgp 函数 重新 训练 网 络 ， 在 MATLAB 命令 行 窗口 中 输入 


net=newft(mlinmax(E)， [51 本 logslg ， Purelin }， tralncgp 放 
net.trainParam.show=5S0: 
net.trainParam.epochs=300; 

net.traimnParanm.goal=0.01 
net.traimnParam.searchbFcn= Srchhyb ; 
[net,tr]=train(net,P,T)， 


多 回 代 检验 
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A=Stmnet, 忆 ); 
9 测试 样本 检验 
a 一 SImOnet, 了 ); 
traincgp 函数 BP 网 络 训练 过 程 曲线 如 图 3-13 所 示 。 网 络 训练 迁 代 过 程 信 和 息 及 测试 祥 本 的 
条 出 结 未 如 下 。 
5 上 
0U.4733 0.3419 0U.3994 


Ferormance is 0D0nb945262 司 oalls 0.01 
1 


Training-Blue 与 oal-Black 


10 20 30 40 
| 49 FEhPhochs 


图 3-13 traincgp 函数 BP 网 络 训练 过 程 曲线 


读者 可 以 参照 traincgf 和 traincgp 函数 ， 使 用 共 斩 梯 度 算 法 训练 图 数 traincgf 和 traincgp 过 
行 BP 网 络 训 练 ， 体 会 函数 间 的 产 开 。 

14. tralincgb 

与 traincsf 函数 相同 ，traincgb 函数 采用 共 斩 梯 度 算 法 进行 BP 网 络 训 练 ,， traincgb 国 数 的 吉 
练 参 数 与 traincgf 完全 相同 ， 具 体 参 数 设置 见 traincgf 疝 数 。 

net=newff(minmax(P),[$,1],{logsig ,purelin },traimcgb 

net.tralnParam.show=>0U， 

net.trainParam.epochs=30U; 

net.trainParam.goal=0U.U] ; 

net.trainParam.SeafrchFEcn= srchcha ; 

[net,tr]=traim(naet. 了 ,1); 

多 回 代 检验 

A=Slim(net' 了 ); 

多 测试 祥 本 检验 


a=Simnet, 忆 ); 
traincsgb 函数 BP 网 络 训练 过 程 曲线 如 图 3-14 所 示 。 网 络 训练 迭代 过 程 信 息 及 测试 伞 本 的 
输出 结 条 如 下 。 


六 一 
0.4935 0.0419 0.4998 


Performanceis 0.00992424， Goal is 01 


岂 
， 
一 | 
一 忆 
包 
三 
< 
惧 
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raining-Blue 避 oal-Black 


0 20 40 60 8 100 


116 Epochs 
图 3-14 traincgb 冰 数 BP 网 络 训练 过 程 曲 线 


全 全 MATLAB 神经 网 络 仿真 与 应 用 


15，tralnlm 


trainlm 国 数 同 拟 咎 地 法 相似 ， 使 用 一 阶 Jacobian 和 矩阵 近似 计算 二 阶 Hessian 和 矩阵， 避免 了 
网 络 训练 误差 的 二 阶 导 数 。 通 过 以 下 命令 获取 trainlm 纹 数 的 参数 设置 


net=newfft(minmax(P),[$,1],{f logsig'purelin' trainlmy， 
net.trainParam 
trainlm 函数 的 训练 参数 如 下 ， 
ans 三 
epochs; 100 
goO3l: 0 
miax _fall: 
mem reduc: 1 
min_ grad: 1.0000e-010 
mu: 1.0U00e-003 
mu dec: 0.1000 
mu_lnc: 10 
mu_max: 1.0000e-+0O10 
show: 235 
tme: Inf 


企 MATLAB 命令 行 窗 口中 输入 


net=newftt(minmax(P),[S,,{ logsig',purelin' ,trainlmy); 
net.trainParam.show=S0: 

nettranParam.epochs=300: 

net.trainParam.goal=0.01: 

nettrainParam.mu_dec=0.1; 

net.trainParam.ma inc=7: 

[nettr] =train(netP,T); 

% 回 代 检 验 

A=SslimCnet,P): 

9 测试 样本 检验 


a=Simnet,P): 


trainlm 昂 数 BP 网 络 训 练 过 程 曲线 如 图 3-15 所 示 。 网 络 训练 迭代 过 程 信息 及 测试 样本 的 输 


出 结 朱 如 下 。 
3 一 
0.7015 0.6898 0.2336 
关 Ferformance is 0.00234362 Goal is DDD1 
本 
机 10 
(9 
吕 \、 
区 虽 忆 | 恕 
6 Epochs 
和 氏 3-15$ _ trainlm 国 数 BP 网 络 训练 过 程 曲线 
16. trainscqg 


trainscg 明 数 是 共 白 梯度 算法 的 :一 种 变形 ， 该 算法 结合 了 Levenberg-Marquardt 算法 中 的 模 
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型 芮 信 区 间 方 法 和 共 斩 梯 度 算 法 ,避免 了 耗 时 巨大 的 线 搜索 过 程 ， 从 而 提高 了 网 络 的 训练 速度 。 
遂 过 以 下 命令 获取 trainscg 函数 的 参数 设置 。 


net=newtt(mninmax),[3,1]flogslg,purelin },tralnscg ); 
net.trarnParam 
ans 一 
epochs: 100 
Show: 23 
go0aj: 0 
tme: [Int 
min_srad: 1.0000e-000 
max fall: 
sigima: 9.UUUUe-U03 
lambda: 5.0000e-007 


17. tralnoss 
trainoss 图 数 依 据 -- 步 正 割 反问 传 播 算法 对 网 络 的 权 值 和 值 进行 调整 , 该 函数 是 一 种 标准 
咎 顿 算法 。trainoss 函数 占用 的 内 存 比 共 辆 梯度 算法 大 ， 但 却 小 于 BFGS 算法 〈 参 见 trainbfg 函 
数 )， 因 此 可 以 认为 是 两 者 的 折 中 。 通 过 以 下 命令 获取 trainscg 国 数 的 参数 设置 。 
net=new 革 Oninmax(),[3,1],flogsig ,purelin ,traltnoss ); 
net.tratnPararr 
ans 三 
epochs: 100 
Show: 23 
goal: 0U 
time: ]Jntf 
min_grad: 1.0000e-006 
IaX_ftall: 9 
SearchFcn: srchbac 
scale tol: 20 
alpha: 1.0000e-003 
beta: 0.1000 
delta: 0.0100 
gamma: 0.1000 
low_ jnm: 0.1000 
up_lim: 0.3000 
maxstep: 100 
minstep: 1.0000e-006 
bmax: 20 


任 MATLAB 命令 行 窗 口中 和 输入 


net=new 夺 (minmax( 卫 ),[3,]j,fogslg, purejin ,traiposs ); 
net.trainParam.show=50U; 

net.trainParam.epochs=300; 

net.tralnParam.goal=0.01] ; 
net.trainParam.searchEFEcn='Srchbac 
[net'trj=ftraln(neft,P, TD); 


2% 加 代 检 验 
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A=Ssltmnet,P)， 
% 测 试 样本 检验 
a=Sslm(net.P): 
trainoss 图 数 BP 网 络 训 练 过 程 曲 线 如 图 3-16 所 未 。 网 络 训 练 迭 代 过 程 信息 及 测试 样本 的 输 
出 结果 如 下 。 
呈 一 
U.34354 0.4680 0.7021 


Perormanece B 0.00946936 Goal ls 0.01 


10 


10 


Training-Blue 怠 Oal-Black 


门 与 
13 Epoechs 
图 3-16 trainoss 函数 BP 网 络 训练 过 程 曲线 


3.5 ”神经 网 络 的 学 习 函 数 


网 络 权 值 和 效 值 的 学 习 函 数 如 表 3-5 所 示 。 这 些 函 数 在 程序 中 不 被 直接 调用 ， 当 网 络 利用 
国 数 train、trainc、trainr 和 trains 进行 训练 时 ， 这 些 训 练 轴 数 将 根据 已 经 设置 好 的 权 值 和 效 值 学 
习 函 数 的 属性 调用 相应 的 学 习 餐 数 。 





表 3-5 学 习 函 数 
learncon 公平 装 值 学 习 上 图 数 
learngd 侯 度 下 降 权 值 和 半 值 学 习 琐 数 
learngdm 动量 梯度 上 下降 权 值 和 国 值 学 习 睫 数 


臣 数 名 称 功 能 
learnlv1 LVQI 权 介 学习 毅 数 
[earnlv2 LVQ2 权 值 学 习 函 数 
learnos 导 外 权 值 学 习 申 数 


RS 人 WCREEEROEPREEEEEEEEEEEEEEEEEEEEEEEEeec 和 和 








上 训 知 器 权 从 和 网 什 学 习 示 
learnhd 退化 Hebb 权 值 学 习 函 数 Learnpn 甩 - 化 感知 如 权 什 和 闪 便 学 习 陋 数 
leaimnis 年 内 权 值 池 习 图 数 learnsomi 明 组 织 映 射 网 络 权 值 学 习 数 
| Ko 


1，|Iearncon 

应 用 : 公平 阀 值 尝 习 国 数 。 

格式 : [dB,LS]=learncon(B,P Z, N,A,TE,. swW, sgA,D,LP LS ) 

Info=jlearncon(code) 

解析 :， learncon 国 数 是 一 种 国 值 学 习 畏 数 ， 间 用 于 调整 竞争 层 网 络 中 神经 元 的 交 伍 ， 该 硬 
数 通过 建立 一 个 公正 参数 ， 以 保证 小 输出 神经 元 的 效 什 六 幅度 增加 ， 大 输出 神经 元 的 国 值 小 幅 
上 度 增 加 。 访 函数 中 靖 值 的 调整 量 仅 由 神经 元 的 原始 国信 和 和 输出 决定。 

在 函数 调用 形式 [dB, LS]1=Iearncon(B, P Z, N, A,T E, W, sA,D,LP LS ) 中 ，B 为 网 络 某 层 
的 值 矢量 P 为 全 1 适 阵 ;， Z 为 经 过 加 权 因 数 变换 后 的 加 权 输 入 天 量 ; N 为 加 权 和 输入 经 过 答 
入 范 数 变换 后 的 神经 元 传递 函数 的 冰 值 的 梯度 矢量 ;: A 为 让 层 网 络 的 得 出 天 量 ; 工 为 月 标 矢 量 : 
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E 为 误差 矢量 ; gW 为 网 络 性 能 对 于 病 值 的 梯度 矢量 ; g8A 为 网 络 性 能 对 于 该 层 输 出 的 梯度 矢量 : 
D 为 神经 元 的 距离 矩阵 ，LP 为 学 习 参 数 ，learmcon 国 数 的 学 习 参 数 是 由 学 习 速 率 LPlr 构成 的 ， 
拆 认 值 为 0.001; LS 为 学 习 状 态 ， 初 始 状态 时 取 什 为 [ ]。 柚 数 返 回国 全 调整 量 dB 和 当前 学 习 
状态 LS 。 
图 数 的 调用 形 却 info=learncon(code) 返 回访 学 习 上 图 数 的 有 关 信 息 。code 字符 串 的 取 值 如下。 
@ pnames: 妈 回 学 习 参 数 的 名 称 : 
@@ 。 pdefaults: 返回 学 习 参 数 的 默认 全 ; 
@@ meedg': 返回 学 习 函 数 是 否 要 利用 梯度 矢量 gW 或 8gA, 当 用 到 梯度 矢量 时 , 图 数 返 回 1。 
【 例 3-25】 假 定 4_ 和 吕 分 别 为 两 神经 元 网 络 层 的 输出 矢量 和 网 但 天 量 。 
A=[0.8950;U， 2341]; 
B=[10.7432;0.4389]: 
本 
LP.Ir=0.6; 
dB=learncon(B,[],[[]A:ELLT,[LLD ELP,I) 
净值 更 新 量 为 
dB = 
0.0137 
0.0241 
2，learngd 
应 用 : 梯度 下 降 权 值 和 国 值 学 习 曙 数 。 
格式 : [dW,LS]=learngd(W, P Z, N,A, 工 E, gwW, gA,D,LP LS) 
[dB, LS]=learngd(B, P Z, N, A,T E, gW, gA,D, LP LS ) 
Info=jlearngdCcode) 
解析 : learngd 函数 采用 梯度 下 降 方 法 对 权 值 科 值 进行 调整 ， 即 权 什 和 了 国信 的 调整 量 dW 
为 学 习 速 率 lr 和 梯度 gW 的 滋 积 
dW(,J)=LIr*gW0 ]) 
在 函数 调用 形式 [dW, LS]=learngd(W, P Z, N,A, 工 E,gW,gA,D,LPLS) 中 ，W 为 权 信 炳 阵 : 
P 为 层 输入 矢量 ; Z 为 层 输入 经 过 加 权 函 数 变 换 后 的 加 权 输 入 矢量 ; N 为 加 权 输 入 经 过 输入 墙 
数 计算 后 得 到 的 神经 元 传递 亢 数 的 输入 矢量 ; A 为 该 屋 神经 元 和 输出 天 量 ; T 为 目标 天 重 ; E 为 
误差 矢量 ;，gW 为 网 络 性 能 对 于 权 值 的 梯度 矢量 ; gA 为 网 络 性 能 对 于 芒 层 的 输出 棉 上 度 天 量 ; D 
为 神经 元 的 距离 矩阵 ，LP 为 学 习 参 数 ，learngd 函数 的 学 习 参 数 是 由 学 习 速 率 LPir 构成 的 ， 歌 
认 值 为 0.01; LS 为 学 习 状 态 ， 初 始 值 为 []。 函 数 返 回 阀 值 调 整 量 dqW 和 当前 学 习 状 态 LS。 妆 
的 其 余 两 种 参数 调用 形式 见 函 数 learncon。 
【 例 3-26】 对 一 个 3 输入 的 两 神经 元 网 络 层 随机 产生 梯 度 天 量 gW 。 
gW=rand(2,3) 
gw = 
0.9501 U.6008 0.8913 
U.231 1 0.48060 0U.7021 
设置 好 学 习 速 率 并 利用 梯度 下 降 法 对 权 值 进行 更 新 。 
LP.Ir=0.0; 


本 
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dw=learngdk[ ],] [了 [口上 [ggW, [IILP TD]) 
JW == 


U.3701 U.3041 0.5348 
0U.138 7/ 0U.2910 0.45 73 
3S.，jearngdm 
应 用 : 动量 樟 度 下 降 权 全 和 靖 什 学习 函数 。 
格式 : [dW,LS]=learngd(W,P Z, N,A, 了 荆 E, gwW, sgA,D,LP LS) 
[dB, LSj=learngd(B, PP ZN,A,TE, sgW, sgA,D,LP LS ) 
Ito=learngd(code) 
解析 : learngdm 函数 采用 动量 梯度 下 降 法 对 权 值 和 净值 进行 调整 ， 即 权 值 和 疝 值 的 调整 值 
dW 由 动量 因 了 于 me、 前 一 次 学 习 时 的 调整 量 dWprev、 和 学 习 速 率 TT 和 梯度 gW 共同 确定 。 
dW(, ])=mcxdWPprev( ]) * (1-mc) *lrxgW(, ) 
师 数 调用 时 各 输入 和 返回 量 的 含义 参见 国 数 learncon 和 jlearngd， 其 中 前 一 次 学 习 时 的 权 值 
及 国信 调整 量 dWprey 存储 在 学 习 状态 参数 LS.dW 中 。learmgdm 函数 的 学 习 参 数 包 括 如 下 。 
@  LPIT: 学 习 速 奈 ， 默 认 全 为 0.01; 
@  LPmc: 动量 音效 ， 默 认 便 为 0.9。 
【 例 3-27】 衣 定 权 信 相 度 拭 阵 gW 和 上 一 次 的 权 值 幸 整 量 LS.dw 为 
gW=[0.6782 0.9637 0.714S 0.1287 0.7963 0.4056]; 
LS.dw=[0.8963 0.1287 0.1982 0.0089 0.2365 0.7421]: 


改 置 学 习 参数 并 利用 动量 梯度 下 降 法 对 权 信 进行 更 新 。 


LP.ir=-0.6， 
LP.mc=U.8: 
dw=leamgdm(DILDILDILDSW.DDLPLS) 
dW 二 

0U.7984 0.21806 0.2443 0U.0220 0.2848 0.0424 
4， learnh 


点 用: Hebb 权 值 学 习 郊 数 。 
格式 : [dqwW, LS]1=learnh(W, P Z, N,A,T E. gW, gA,D.LP LS) 
Info=learnhtcode) 

解析 : learnh 函数 采用 Hebb 联想 学 习 规 则 对 神经 元 权 值 进行 调整 , 即 两 个 利 经 元 的 网 络 权 
值 正 比 于 它们 的 活动 值 ， 所 以 当 两 个 神经 元 的 输出 同时 为 高 时 ， 这 两 个 伸 经 元 之 间 将 具有 较 大 
的 网 络 权 值 ， 权 值 调整 值 dW 由 学 习 速 率 f、 神 经 元 输入 PP 和 输出 A 共同 确定。 

dW, j)=Ir*AGD *P(j) 

图 数 调 整 时 各 输入 量 和 返回 值 的 含义 参见 图 数 learngd。 该 函数 的 学 习 参 数 是 由 学 习 速 欢 
LPIr 构成 的 ， 默 认 值 为 0.01。 

【 例 3-28】 假 定 忆 和 4 分 别 为 一 个 两 神经 元 3 输入 网 络 层 的 输入 和 和 输出 天 量 。 


P=10.3578:0.1986:;0.0135]: 
A=[0.7852:0.4423] 


说 站 学 习 速 次 并 利用 Hebb 学 习 规则 更 新 权 值 。 


]_P.ITr=0.0; 
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dW=iearnh(U 了 品名 , 则 曲 , 晶 昌 工 , 吕 ) 
dW = 
0.1686 ”0.0936 ”0.0064 
U.05950 0.0527 0U.0030 
D，learnnad 
应 用 : 退化 Hebb 权 值 学 习 函 数 。 
格式 : [dwW, LS]=learnhd(W, P Z, N,A,T E, gW, gA,D, LP LS) 
Info=jearnhd(code) 
解析 : learnhd 函数 是 Hebb 联想 学 习 规 则 的 变形 ， 该 施 数 中 通过 增加 一 个 附加 项 来 限制 权 
值 的 规模 ， 该 附加 项 由 衰减 率 dr 和 当前 权 值 W 确定 ， 这 时 权 值 调整 量 为 
dW(, ])=lr*A(D *PO)-dr*Y(, 1) 
其 中 ，r 为 学 习 速 这 ，P 为 神经 元 输入 ，A 为 输出 。 
函数 调用 时 各 输入 量 和 返回 量 的 含义 参见 数 learngd。 议 图 数 的 学 习 参 数 包 括 如 下 。 
@  LPIr: 学 习 速 率 ， 和 默认 值 为 0.1; 
@  LPdr:， 衰减 率 ， 黑 认 便 为 0.01。 
【 例 3-29】 根 据 下 列 输 入 矢量 尼 、 输 出 矢量 4 和 诛 始 权 值 搜 阵 丰 ， 利 用 learnhd 印 数 对 神经 
元 权 值 进行 学 : 习 。 
P=[0.3978:0.1986:;0.0135 ]; 
A=|10.7832:0.4423 1; 
W=[f0.6782 0.0198 0.3733;0.8217 0.608 73 0.8031]; 
设置 学 习 速 率 、 痛 减 率 并 更 新 权 但 。 
LP.Ir=0.0; 
LP.dr=-0.05;， 
dW=]learnhdCW,P, 吕 ,品名 昌河 沁 寺 E, 避 ) 
dW = 
0.1347 0.0926 -0.0124 
U.U0539 0.0183 -0.0390 
6 |earnls 
格式 : [dW, LS]=learnis(W, P Z, N,A, 工 E, gW, gsgA,D,LP LS) 
Info=jearnls(code) 
解析 : learnis 函数 利用 星 内 联想 式 学 习 方 法 对 权 值 进行 调整 。 在 该 方法 中 ， 当 神经 元 共有 
高 输出 时 ， 权 值 将 向 当前 输入 矢量 进行 逼近 调整 ， 这 样 当 网 络 册 输入 同一 天 量 时 ， 芭 神经 元 将 
由 现 明 显 的 高 输出 。learnis 函数 中 的 权 值 调整 岂 理 为 
dWI(, ])=]1r*A(Dx(PO)-YWG， IJD)) 
其 中 ，I 为 学 习 速率 ，P 为 神经 元 输入 ，A 为 输出 ，W 为 当前 权 值 甜 阵 。 
函数 调用 时 各 输入 量 和 返回 量 的 含义 参见 图 数 learngd。 该 国 数 的 学 习 参 数 为 尝 习 速 淘 
LPlr， 抽 认 信 为 0.01。 
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【 例 3-30】 根 据 下 列 输入 矢量 忆 、 输 出 矢量 4 和 原始 权 值 矩阵 剑 ， 利 用 learnis 函数 对 神经 
元 权 便 进行 竺 习 。 
=|0.35 78:U.1986;0.01332]; 
A=[0,.78$2:;0.4423]; 
W= 下 0752 0.0198 0.3753:0.8217 0.0873 0.8631 |]; 


LP.Ir=-0.6; 
Fa 
-0.1509 ”0.0842 -0.1705 
-0.1231 -0.1297 -0.22435 
7 learnk 
应 用 : Kohonen 权 值 尝 习 罗 数 。 
格式 : [dW, LS]=learnk(W, P Z, N,A, 工 E, gwW, gA,D, LP LS) 
Info=jearnk(code) 
解析 : learnk 函数 利用 Kohonen 规则 对 权 值 进行 调整 ， 访 图 数 多 用 于 竞 争 层 网 络 中 。Kohonen 
规则 可 以 使 输入 矢量 存储 于 神经 元 权 值 中 。 在 learnk 冰 数 中 ， 当 神经 元 输出 为 0 时 ， 权 信人 不 作 
调整 当 输 出 不 为 0 时 ， 权 值 调 整 量 为 
dWGD)D=irx(PU)- WCG JJ)) 
其 中 ，Ir 为 学 习 速 率 ，P 为 神经 元 输入 ，W 为 当前 权 住 窍 阵 。 
图 数 调用 时 各 输入 量 和 返回 量 的 含义 参见 函数 learngd。 该 函数 的 学 习 参 数 为 学 习 速 率 
LPir， 默 认 值 为 0.01。 
【 例 3-31 对 一 个 3 输入 两 神经 元 的 网 络 层 ， 设 定 输入 矢量 天 和 权 值 下 阵 剑 ， 计 算 和 输出 天 量 4。 
P={0.3578;0.1986;0.0135]; 
W=[0.6782 0.0198 0.3753; 
0.8217 0.6875 0.8631]; 
A=compet(negdist(W ,P)) 
(1.1) ] 
然后 设置 学 习 速 率 ， 并 利用 Kohonen 学 习 规 则 更 新 权 但 。 
LP.Ir0.06; 
re 
-0.1922 ”0.1073 -0.2171 
0 OU 0 
8， learnlvi 
应 用 : LYQIL 权 值 学 习 图 数 。 
格式 : [dW, LS]=learnlv1(W, P Z, N,A, 荆 E, gW,gA,D, LP LS) 
Into=jearnljvl(code) 
解析 : learnlv1l 函数 利用 LYQ1 规则 对 权 值 进行 调整 ， 该 琐 数 多 用 于 学 习 舌 量 量化 网 络 中 。 
在 learnlvl 函数 中 ， 当 神经 元 输出 为 0 时 ， 权 值 不 作 调 整 ， 当 输出 不 为 0 时 ， 权 值 将 根据 梯度 
天 量 g&A 的 取信 进行 丧 整 。 
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dWJ)=IrxEU)-WGb ])) 3 SEAGD)=0 
dw (JJ)=-T FU)-WGL DJ) 当 SAG) 天 0 


其 中 ，Lr 为 学 习 速 率 ，P 为 神 元 和 输入，W 为 当前 权 值 。 
国 数 调用 时 各 竹 入 量 和 返回 量 的 售 义 参见 图 数 learngd， 其 中 梯度 矢量 gA 用 来 表示 该 层 神 
经 元 的 分 关 绪 未 是 个 正确 。 充 困 数 的 学 习 参 数 为 学 习 速 率 LPlr， 默 认 值 为 0.01。 
【 例 3-32】 根 据 输 入 天 量 已 和 权 值 窍 阵 环 ， 利 用 learnlvl 函数 对 神经 元 权 值 进行 学 习 。 
P=[0.3$78;0.1986;0.0135]; 
W=[0.6782 0.0198 0.3753;0.8217 0.6875 0.86311]: 


首先 计算 神经 元 的 输出 
A=compet(negdqist(W ,了 )); 
SA= 上 li; 
设置 学 习 速 率 并 更 痢 权 值 
LP.Ir= 忆 .3; 
dW=jearnlv1GW 日 A 日 口 昌 gA 品 二 PE, 口 ) 
dW = 
U.1602 -0.08914 U.1809 
0U 0 0U 
9. |earnlv2> 


应 用 : LVQ2 权 信 季 习 国 数 。 
格式 : [dw, LS]=learnlv2(W, P Z, N,A, 工 E, gW, sgA,D,LP LS) 
Info=learnjv2(code) 
解析 : learmlv2 困 数 利用 LVQ2 规则 对 权 信 进行 调整 ， 议 图 数 同 样 用 于 学 习 天 量 量化 网 络 
中 。 但 网 络 只 有 利用 LVQ1 规则 进行 笠 习 后 , 才能 使 用 LVQ2。 在 利用 learnlv2 闵 数 进行 学 习 时 ， 
如 果 输 出 最 大 的 两 个 神经 元 分 别 为 上 和 广 而 且 输 入 矢量 落 在 这 两 个 神经 元 的 权 值 矢量 中 间 ， 即 
满 下 
main(dydl, dj/du>(1-windowy1+window) 
其 中 ,di 和 由 分 刊 为 输入 天 量 和 这 了 两 个 神经 元 权 便 天 量 间 的 距离 ，window 为 学 习 参 数 中 的 窗 
宽度 参数 。 在 上 述 条 件 下 ， 如 采 伸 经 元 工 输 出 为 忆 时 将 产生 正确 的 分 类 结果 ， 神 经 元 二 输出 为 
高 时 将 产生 错误 的 分 类 结果 ， 那 么 这 两 个 昼 经 元 的 权 值 调整 量 为 
dVW(K)=1rx(P(K)-WVOGLKD)) 
dVW(,K)=-1rx(P(K)-WG,K)) 
上 了 趟 中 为 学 习 速 率 ，P 为 神经 元 输入 ，W 为 当前 权 值 瑟 阵 。 
吨 数 调用 时 各 输入 量 和 返回 量 的 含义 参见 函数 learngd， 梯 度 矢 量 gA 用 来 表示 该 层 神 经 元 
的 分 类 结果 是 和 否 正 硝 。 蒋 图 数 的 学 习 参 数 包 括 如 下 。 
@  LPIr:， 学 习 速 尘 ， 寺 认 全 为 0.01: 
@  LPwindow: 窗 宽 度 ， 取 值 可 以 是 0 一 1 间 的 任意 实数 ， 默 认 值 为 0.23,， 通关 取 值 在 0.2 
和 0.3 之 则 。 


et 汪 WE 
2 攻 人 
和 5 2 汪 2 
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【 例 3-33 】 对 于 一 个 两 输入 3 神经 元 的 网 络 层 ， 利 用 learnlv2 效 进行 和 学习， 首先 奴 定 权 但 
贱 、 输 入 矢量 PP、 梯 度 矢 量 gA， 并 计算 神经 元 的 加 权 输 入 量 N 和 输出 量 4。 
W=|[-0.73 1:1 0 |; 
P=[b0;]U: 
gA=[-1 1 
=negdlst(W ,也 ); 
A=cotmpet(WNJ); 


然后 设置 学 习 速 率 并 更 新 权 信 
LP.Ir=0.5; 


LP.window=0.24， 
dW=learnlv2(W,P,[],N,A,[,UD,gA,ULP,D) 


dW = 
-0.3750 O 
0 0 
-0.5000 0 
10.， |earnos 


应 用 : 星 外 权 信 学 习 函 效 。 
格式 ; [dW, LS]=liearnos(W, P Z, N,A,TE, sgW, gA,D,LP, LS) 
info=learnos(code) 
解析 :， lernos 函数 利用 星 外 联想 学 习 方 法 对 权 值 进行 调整 ， 该 方法 中 权 仁 调整 量 为 
dW( TD=rs(AU-WG, JJD)*EO) 
其 中 ，Lr 为 学 习 速 率 ，P 为 神经 元 输入 ，A 为 输出 ，W 为 当前 权 什 窍 阵 。 
国 数 调用 时 各 输入 量 和 返回 量 的 含义 参见 国 数 learngd。 该 图 数 的 学 习 参 数 为 学 习 速 率 
LPlr， 默 认 值 为 0.01。 
【 例 3-34】 根 据 下 列 输入 矢量 忆 、 输 出 矢量 4 和 权 值 托 阵 古 ， 利 用 learnos 函数 对 神经 元 权 
值 进 行 学 习 。 
P=(10.3S78:0.1986;0.01335 1]; 
A=[0.74608:0.44351|: 
W=[0.6782 0.0198 0.3733;0.8217 0.60875 U.803 1 |]; 
设置 学 习 速 率 并 更 新 权 倡 
LP.jr=U.>: 
dW=learmos(W:P 员 ,由 和 出, 晶 ,,g 人 ALP, 
dVW = 
U.U123 0.0722 0U.002> 
-0.0674 -0.0241 -0.0028 
11. Jearnp 
应 用 : 感知 器 权 值 和 了 况 但 学习 上 函数 。 
格式 ;， [dW, LS]=learnp(W, P Z, N,A, 工 E, gW, sgA,D,LP LS) 
[dB, LS]=learnp(B, P Z, N,A,TE, gwW,gA,D,LPLS ) 
info=learnp(code) 


解析 : learnp 函数 可 用 来 对 感知 器 网 络 的 权 值 和 阅 值 进行 调整 ， 该 方法 中 权 值 调整 是 由 稍 
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入 天 量 P 和 放 委 天 量 忆 次 定 。 
dWwWU,J)=ECUz 了 WU) 
国 数 调用 时 各 参数 的 含义 参见 男 数 learncon 和 learngd。 访 图 数 疫 有 和 尝 习 参数 。 
【 例 3-35$】 一 个 3 输入 两 神经 元 网 络 层 的 输入 矢量 己 和 误差 矢量 五 如 下 。 
P=|0.12970.0932;0.4321 |]， 
E=[:- 了 ; 
使 用 learnp 函数 对 权 值 进 行 更 新 
dW=learnp(H 口 口 三 口 , 晶 , 口 , 口 , 口 ， 
QdQW = 


OU.1297 U.0932 0.43521] 
-0.1997 -0.0932 -0.43521 


12.，learnpn 
应 用 : 归 一 化 感知 器 权 信 和 病 什 学习 男 数 。 
格式 : [dW,LS]=learnpn(W,P Z, N,A,T E, gwW,gA.D, LP LS) 
[dB, LS]j=iearmpn(B, 了 ZN,A,TE,gW, ggA,D,LP LS9 ) 
Info=jlearnpn(code) 
解析 : learnpn 函数 多 用 于 感知 器 网 络 的 权 值 和 阅 值 调整 ， 当 输入 矢量 中 存在 奇异 样本 时 ， 
六 方法 可 以 有 效 地 提高 感知 器 网 络 的 训练 速度 。 在 该 函数 中 ， 权 值 调整 量 由 归 一 化 的 输入 矢量 
P 和 充 变 天 量 忆 共同 决定 
dW(, J)=E(DxP()nP 
其 中 ，nP 为 输入 矢量 了 的 模 全 
nP=sqrt (1+P(l)A2+P(2)A2+… 十 P(RJ)^2) 
图 数 各 输入 量 和 返 同 量 的 含义 参见 函数 learncon 和 1learngd。 该 图 数 没 有 学 习 参 数 。 
【 例 3-36】 一 个 3 输入 两 神经 元 网 络 层 的 输 入 舌 量 妃 和 旋 兰 天 量 玖 如 下 。 
P=[0.1997;0.6932;0.4521]; 
E 上 =[L-]]: 
利用 learnpn 函数 对 权 便 进行 更 新 
dW=learmnpnH 局- 口 口 品 三口 电 , 昌 , 口 , 吕 ) 
dWV == 


0.1221 0U.2300 0.34> 7 
-0.122]1 -0.3300 -0.342 7 


13.， learnsom 
应 用 : 上 自 组 织 了 映射 网 络 权 全 学 习 轴 数 。 
格式 : [dW, LS]=learnsom (W, P Z, N, A,TE, swW, gA,D, LP LS) 
into=tearnsom (code) 
解析 : learnsom 冰 数 用 于 上 自 组 织 映 射 网 络 中 神经 元 权 全 的 学 习 。 在 learnsom 函数 中 ， 不 仅 
获胜 神经 元 的 权 值 要 作 调 整 ， 获 胜 神 经 元 领域 内 的 权 但 也 要 更 新 ， 印 
dW(, K)=lrx*a2+x (P(UK)-YWG, K)) 
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其 中 ，Ir 为 学 习 速 率 ，P 为 神经 元 输入 ，W 为 当前 权 值 ，a2 为 活动 系数 。 第 :个 神经 元 的 活动 
系 效 a2( 控 照 如 下 方式 确定 。 

a2(i)=]1: 如 果 第 个 神经 元 获胜 。 

a2(D)=0.$:，， 如果 第 六 个 神经 元 获胜 ， 并 且 和 第 个 神经 元 的 间距 小 于 领域 半径 nd。 

a2(D)=0: 其 他 。 

国 数 调用 时 各 输入 量 和 返回 量 的 含义 参见 困 数 learngd。 该 国 数 的 学 习 参 数 包 插 如 下 。 

@ LPorder_lr: 排列 阶段 攀 学 习 速 这 ， 默 认 值 为 0.9: 

@ 。 LPorder_steps: 排列 阶段 的 竺 习 次 数 ， 默 认 全 为 10001 

@  LPtune_lr: 调整 阶段 的 学 习 速 率 ， 坝 认 信 为 0.02: 

@  LPtune_ nd:， 调整 阶段 的 领域 半生 ， 堆 认 全 为 1。 

在 本 国 数 中 ， 和 学习 分 排列 和 调整 两 阶段 进行 ， 芝 习 速 率 T 在 两 个 阶段 中 要 从 LPorder_Tr 降 
低 到 LPtune_lr， 领 域 半径 nd 要 从 神经 元 间 的 最 大 距离 降低 到 LPtune_nd。 

【 例 3-37】 构 迄 一 个 里 层 网 输入 9 神经 元 的 目 组 织 映 射 网 络 ， 网 络 的 拓扑 结构 为 六 过 形 ， 
神经 元 间距 采用 linkqdist 计算 方法 。 

随机 产生 输入 天 量 己 、 权 值 抵 了 咱 下 和 输出 天 量 4。 

Pos=hextop(3, 3) 

名 绘制 神经 元 拓扑 绪 构 各， 如 图 3-17 所 不 。 

plotsom(Pos ); 


Neuron Posltlons 


position(2,j) 





postyontt 


图 3-17 ”神经 元 护 扑 结构 图 


D=limnkdlst(Pos ); 
P=frand(2.1); 
W=rand(9,2); 
9 绘制 原始 神经 元 权 值 天 量 ， 如 图 3-18 所 示 。 
plotsom( WwW , 卫 ); 
=Tand(9,1); 
Welght Vectors 
< 






02 0 02 04 0608 1 12 
VD 


图 3-18 原始 神经 元 权 信 天 量 
初始 学 习 状 态 设 为 上 ]， 学 习 速 率 取 为 缺 认 伍 ， 并 蝎 痢 权 伸 
LP.order 10.9: 
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LP.order_steps=1000; 

LbPtune _jr=0.02: 

LP.tune _ ndqd=1|: 

Ls= 同 ; 

[dWw ,LS]=learnsom(W,P, 和 ,中 ,A,U, 中 ,中 ,D,LP,LS)， 
多 绘 制 更 新 后 的 神经 元 权 值 矢量 ， 如 图 3-19 所 示 。 





pjotsom(YW +dW ,也 ); 
Wallght Vectors 
-0U. 有 已 .6 为 4-02 
wifi 1) 
儿 3-19 更 新 后 神经 元 权 值 矢量 
14， learnwh 


应 用 : Widrow-Hoff 权 值 和 几 值 学 习 函 数 。 
格式 : [dW,LS]=learnwh (W,P Z,.N,A, 工 E, gW, sgA,D, LP LS) 
[dB, LS=learnwh (BE,P ZN,A, 工 E, sgW, sgA,D, LP LS ) 
Info=learnwh (code) 
解析 : learnwh 利用 Widrow-Hoff 规则 对 网 络 的 权 值 和 靖 值 进行 学 习 ， 该 函数 多 用 于 线性 网 
络 。 在 该 方法 中 权 仁 调整 量 由 输入 矢量 P、 误 差 矢 量 E 和 学 习 速 率 Ir 共同 确定 。 
dVW(U ])=1r*E(GD)*Pgd) 
图 数 调用 时 各 输入 量 和 返回 量 的 含义 参见 图 数 learncon 和 learngd。 该 函数 学 习 参 数 是 由 学 
习 速 率 LPIr 构成 的 ， 默 认 值 为 0.01。 
【 例 3-38】 构 造 一 个 3 输入 两 神经 元 网 络 层 ， 输 入 矢量 天 和 误差 矢量 吾 如 下 。 


P=|[0.1997;0.6932;0.4S21|]， 
上 上 =[10U.3789;0.7802 |: 


议定 尝 习 速率 ， 并 利用 learnwh 函数 对 权 值 进行 学 习 
LP.IF-0.6; 
dwW=jearnwRnGU 上 上 口 蝇 曲 口 三口 , 口 J,D) 
dW = 


0.0303 0.15 70 0.1028 
0.0733 0.3270 0.2133 
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神 绎 网 络 的 输入 图 数 及 其 导 图 数 如 表 3-6 所 示 。 
表 3-6 神经 网 络 的 输入 函数 及 其 导数 


netprod 乘积 输入 轴 数 乘积 输入 表 数 的 导 需 数 
和 求 和 输入 函数 | dnessum | 。 求 和 输入 因数 的 导 函 数 
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3.6.1 输入 的 数 


1.，nmetprod 

应 用 :乘积 输入 函数 。 

格式 : N=netprod (Z1, Z2，…… Zn) 

dft=netprod (deriv ) 

解析 : netprod 图 数 以 乘积 方式 把 加 权 输 入 和 阅 值 组 合 在 一 起 。newpnn 和 newgrnn 冰 数 产 
生 的 网 络 以 netprod 国 数 作为 输入 困 数 。 

在 浮 数 调用 N=netprod (Z1, Z2,……, Zn 中 ，Z1 到 Zn 分 别 为 加 权 和 输入 年 阵 或 阅 值 年 阵 ， 此 时 
咀 数 把 Z1 到 Zn 各 十 阵 中 同一 位 置 上 的 元 素 分 别 相 乘 ， 然 后 返回 -个 维 数 相同 的 输入 和 托 阵 。 函 
数 的 调用 形 去 df=netprod (Cderiv) 迟 回 netprod 图 数 的 导 图 数 的 名 称 ， 即 '"dnetprod '。 

【 例 3-39】 设 定 加 权 输 入 第 阵 Z1、Z2 和 靖 值 矢量 &， 计 算 其 乘积 输入 。 

Z1=[14;4 606]; 

Z2=[-9 2;-3 ]j; 

b=lL0;-2]; 
为 处 型 批 处理 数 据 ， 需 要 把 国 值 天 量 术 展 为 绒 数 相同 的 矩阵 

B=concur(b ,2 ) 

N=netprod(LZ1,LZ2,BI) 


B = 
DO 0 
-也 2 
N = 
U OU 
24 -12 
2. netsSum 


格式 : N=netsum (Z1. Z2……, Zm) 
di=netsum (dertv ) 

解析 : netsum 国 数 以 求 和 方式 把 加 权 和 输入 和 浆 什 组合 在 一 起 。newp 和 newlin 等 图 数 产 生 
的 网 络 以 netsum 图 数 作为 输入 困 效 。 

在 函数 的 调用 形式 N=netsum (Z1,Z2…… Zn 中,Z1 和 Zn 分 别 为 加 权 输 入 年 阵 或 交 值 算 阵 ， 
此 时 函数 把 Z1 到 Zn 各 和 宅 阵 中 同一 位 置 上 的 元 聚 分 别 相 加 ,然后 返回 一 个 维 数 相同 的 输入 矩阵。 
喇 数 的 调用 形式 df=netsum (deriv) 返 站 | netsum 图 数 鸭 导数 曙 数 的 名 称 ， 即 'dnetsum'。 

【 例 3-40】 设 定 加 权 输 入 斤 阵 Z1、Z2 和 交 值 矢量 六 ， 计 算 其 求 和 输入 。 

忆 L=|1 4;406]; 

Z2=[-5 2;-3 |]; 

b=[0;-2]; 
为 处 理 批 处 理 数据 ， 需 要 把 效 信 矢量 扩展 为 维 数 相同 的 诈 隆 

了 B=concur(b,2); 

N=netsum(Z1.Z2.B) 
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3.6.2 ”输入 因数 的 导 困 数 


1，dnetprod 

应 用 :， 乘积 输入 函数 的 导 畏 数 。 

格式 : dN_dZ=dnetprod (Z, N) 

解析 : dnetprod 胃 数 用 来 求 取 来 积 输 入 图 数 的 输出 对 加 权 输 入 或 国 值 的 导数 。 

在 调用 函数 中 ，Z 为 加 权 输 入 矩阵 或 国 值 阜 孟 ，N 为 滋 积 输入 图 数 的 输出 ， 导 困 数 返回 输 
入 图 数 的 输出 N 对 加 权 输 入 或 国信 乙 的 导数 煽 阵 。 

【 例 3-41】 认定 加 权 输 入 定 阵 Z1、Z2 和 国 值 天 量 有 ， 寺 算 来 积 输入 值 及 其 对 Z1 的 导数 。 

Z1=[34:27|; 

Z2=[-3 2;4 8]; 

b=[0;-]; 

B=concur(b,2); 

N=netprod(Z1.Z2,B); 

dN_dZ1=dnetprod(Z1,N) 


dN _dZ1 = 
0 0 
-4 -8 
2. ddnetsum 


应 用 : 求 和 输入 国 数 的 寻 国 数 。 
格式 : dN_dZ=dnetsum (Z. N) 
解析 : dnetsum 未 数 用 来 计算 求 和 输入 函数 的 输出 N 对 加 权 和 输入 或 浆 值 Z 的 导数 。 函 数 调 
用 时 各 输入 量 和 退回 量 的 含义 参见 dnetprod 函数 。 
【 例 3-42】 议 定 加 权 和 输入 阵 Z1、Z2 和 国人 天 量 加 ， 计 算 求 和 输入 值 及 其 对 Z1 的 导数 。 
Z =|3 4:2 7|; 
/2 一 |-32:4 38|: 
b=|0;-: 
B=concur(b ,2); 
=netsum(1,22,B); 
_dN_dZ1=dnetsum(Z1,N) 
dN_dZ1] = 
] ] 
| | 


3.7 ”神经 网 络 的 性 能 函数 及 其 导 团 数 
神经 网 络 的 性 能 函数 及 其 导 图 数 如 表 3-7 所 示 。 人 性 能 图 数 通过 计算 网 络 输 出 天 量 和 目标 舌 


量 之 间 的 差异 来 衡量 神经 网 络 的 性 能 ;而 导 六 数 是 用 来 求 取 性 能 函数 的 输出 对 于 各 权 便 及 阅 值 
参数 的 导数 ， 在 枉 序 中 不 百 搂 调用 。 
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表 3-7 ”神经 网 络 的 性 能 函数 及 其 导数 


本 平均 绝对 误差 函数 平均 绝对 误差 函数 的 导 函 数 
本 内 方 误差 函数 均 方 误差 函数 的 导 函 数 
本 规则 化 均 方 误差 冰 数 规则 化 均 方 误差 表 数 的 导 函 数 
呈 平方 和 误差 遂 数 平方 和 误差 函数 的 导 函 数 





1，mae 

用 : 平均 绝对 误 凑 图 数 。 

格式 : perf=mae (上 , x, pp) 

perf=mae ( 卫 , net，pp) 
info=mae (code) 

解析 : E 为 误差 问 量 矩阵 〈 或 回 量 ); X 为 所 有 的 权 值 和 国 值 同 量 ， 可 忽略 ; pp 为 性 能 参数 ， 
可 忽略 ; net 为 待 评定 的 神经 网 络 ; perft 表示 平均 绝对 误差 和 :mae(code) 为 根据 不 同 的 code 值 
妈 回 不 同 的 信息 ， 包 后 如 下 。 

deriv: 返回 导数 函数 的 名 称 ; 

name: 返回 国 数 的 全 称 ; 

pnames: 返回 如 练 参 数 的 名 称 : 

pdefaults: 返回 默认 的 训练 参数 。 

【 例 3-43】 感 知 器 最 重要 的 也 是 最 实用 的 功能 是 对 得 入 同 量 进行 分 类 。 本 例 答 试 建 芯 一 个 
感知 器 模型 ， 实 现 电 路 “或 ” 门 的 功能 ， 从 而 实现 对 输入 的 分 类 。 

“ 束 ” 门 网 络 的 输入 回 量 是 已 和 目标 回 量 是 了 。 其 中 ， 产 [00110101H] 7T=I011。 


本 例 的 MATLAB 代码 为 
P=[0011;010 1]; 
T=[0 1 1.1]; 


net=newp(minmax(P)D; 
YT1=slmnet, 了 ) 四 本 
net.trainPatram.epochs=25; 
net=train(nietbP.D; 
Y2=SslimnetP) 
perf=mae(CY2-T) 


竹 出 为 


] ] ] 1 
TRAINCLC, 上 poch U 25 
TRAINC, Epoch 4/25 
TRAINC, Performance goal met. 
0 1 1 1 
petrt = 
0 
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由 上 丝 可见， 感知 咒 在 训练 以 前 的 输出 是 不 符合 要 求 的 ， 经 过 4 次 训练 后 的 输出 已 经 和 目标 
矢量 - 臻 了， 训练 过 程 的 误差 曲线 如 图 3-20 所 示 。 


Performance is 0 Goal is 0 


Training-Biue Goal-Biack 
司 
恬 ) 人 1 一 
wo 1 


史 
口 
五 
Te 
二 
包 
三 
汉 
此 


二 Epochs 
图 3-20 训练 过 程 的 训 关 曲线 


本 例 创 建 的 感知 器 只 有 一 个 神经 元 ， 这 也 符合 了 神经 网 络 的 让 计 诛 则 ， 即 在 设计 神经 网 络 
时 ， 在 同样 可 以 完成 任务 的 情况 下 ， 尽 量 采 用 人 简单 的 结构 。 因 为 结构 简 音 的 神经 网 络 计 算 负 担 
轻 ,运行 速度 一 般 比 较 快 .感知 器 的 传递 轴 数 和 学 习 函 数 都 采用 默认 值 , 分 别 为 hardlim 和 1learnp， 
这 是 因为 网 络 的 输出 为 0-1 的 二 值 结构 ， 只 有 采用 hardlim 才 满 足 要 求 。 输 入 巾 量 中 不 存在 奇异 
值 ， 元 素 之 间 的 距离 也 比较 小 ， 因 此 ， 采 用 leamp 怠 趾 够 了 。 
2 mse 
应 用 : 区 方 诈 震 立 数 。 
格式 : perf=mse (上 上, x, pp) 
perf=mse (E, net, pp) 
Infto=mse (code) 
说 了 明 : 
mse 也 数 用 来 计算 输 出 矢量 和 目标 矢量 之 间 的 均 方 误差 。 函 数 调 用 时 各 输入 量 和 返回 量 的 
含义 参见 mae 函数 。 利 用 newcf、newff 和 newelm 通 数 建立 的 网 络 可 以 采用 mse 函 教 作为 其 性 
汤 数 。 
【 例 3-44】 计 算 下 面 误差 矢量 的 均 方 误差。 
PE=10.2098:-1.3082:1.5923|: 
miSe( 上 上 ) 
得 出 结 朱 为 


amis 三 
1.7919 


3.，msereg 
格式 : perf=msereg (下 , x, PP) 
perf=msereg (上 , net，PP) 


GE 


月 


Info=msereg (code) 
解析 : msereg 函数 用 来 计算 网 络 的 规则 化 均 方 误 莽 ， 该 性 能 衣 数 不 仅 考虑 了 网 络 和 输出 的 均 
方 误差 ， 还 考虑 了 网 络 中 各 权 值 和 阔 值 参 数 的 均 方 和 ， 网 络 的 性 能 由 这 两 者 的 加 权 和 决定 。 前 
数 调用 时 各 输入 量 和 返回 量 的 含义 参见 mae 图 数 。 访 图 数 的 性 甫 参数 如 下 。 
pp-ratio: 误差 国 数 中 网 络 输出 均 方 误差 的 权重 因 了 于 ，1-pp.ratio 则 是 权 值 和 贱 但 参 数 均 方 和 
的 权重 办 于 。 


sn nm'" .mradiiranidl PPIT 
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由 于 msereg 细 数 在 调用 时 要 使 用 网 络 参数 和 性 和 


符 略 。 


E 参 数 ， 因 此 轴 数 输入 x、net 以 及 pp 不 能 


利用 newcf、new 人 f 和 newelm 函数 建立 的 网 络 可 以 采用 msereg 函数 作为 其 性 能 函数 。 
【 例 3-45】 创 建 一 个 BP 网 络 ， 并 评估 其 性 能 


儿 创 建 一 个 BP 网 络 


net=new 夺 ([-2 2j,[4 1jftansig ,purelin )}， 本 IE Insereg ); 


P=[-3 -2023]; 

工 =|0 1 1109]: 

Y=SlIm(net.P) 

匈 误 着 问 量 

E= 工 -Y 

和 设置 性 能 参数 

net. performpararm. ratio=25/(25+1); 
perf=msereg(E,net) 


何 国 双 一 扫 未 为 
一 

1.29S7 0U.85929 -0.0122 
FE = 

-1.2997 U.1071 1.0122 

perf = 

1 .4333 
4. SSe 


应 用 : 平方 和 误差 国 数 。 
格式 : perf=sse (上 , x, pp) 
perf=sse (上 E, net, pp) 


Info=Sse (Code) 


-0.4355 


.1074 


1 .1074 


解析 : sse 肯 数 用 来 计算 网 络 输出 天 量 和 目标 矢量 之 间 的 误差 平方 和 。 函数 调用 时 各 输入 量 


和 返回 量 的 售 义 参见 mae 卫 数 。 


【 例 3-46】 对 下 和 面 的 误差 天 量 计算 平方 和 误差 。 


RE=|[0.260981;-1.3082;1.8523]; 
SSe (上 ) 


输出 为 


ang 二 
3.3758 


3.7.2 ”性 能 函数 的 导 国 数 


1，gmae 


应 用 : 平均 绝对 误差 国 数 的 导 冰 数 。 


格式 : dperf _dE=dmae (e', 了 E, X, perf, pp) 
dperf_dXx=dmae(x ,上 , 入, perf，pp) 


解析 : dmae 函数 用 来 计算 平均 绝对 误 关 国 数 的 输出 对 其 输入 的 导数 。 
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在 函数 的 调用 形式 中 ， 输 入 下 为 误 兰 矢量; X 是 由 网 络 权 信 和 国信 参数 构成 鸭 窍 阵 ，perf 
为 网 络 的 性 能 值 ，pp 为 性 能 参数 。 调 用 形式 dperf dE=dmae (e', E, X, perf, pp) 返 回 网 络 性 能 对 
于 网 络 输出 误差 的 导数 dperf qdE, 调用 形式 dperft_dX=dmae(x', E, X, perf, pp) 返 回 网 络 性 能 对 于 
各 权 值 和 国 值 的 寻 数 dperf_dX。 

【 例 3-47】 设 网 络 的 输出 误差 天 量 五 和 权 信 天 量 世 为 

了 = -0.3 |]; 

X=[3.3:0.2;-2.2;4.1]; 

首 和 匈 计算 平均 绝对 误 郑 

pert=mae() 


pe 夺 = 

0.7500 
然后 计算 平均 绝对 误差 对 网 络 输出 误 兰 和 权 信 的 导数 
dpert_dE=dmae(e ,了 上 ,入 ) 
dpert_dE = 

[2xl double] 
dbpert_dXx=dmae(X 世人) 
dpert dx = 
ans = 
0 0 U 0 


2. dmse 
格式 : dperf _dE=dmse (e', 了 E, X, perf, pp) 

dperft_ dx=dmse (X ,上 入 , Pert, ppP) 
解析 : dmse 闵 数 用 来 计算 均 方 误差 图 数 的 输出 对 其 输入 的 导数 。 曙 数 调 用 时 各 输入 量 和 退 

回 量 的 含义 参见 dmae 函数 。 
【 例 3-48】 根 据 下 列 误差 矢量 豆 和 权 值 矢量 天 计算 网 络 的 均 方 三 着 及 其 导数 。 
E=[1.2:-0.6]: 
X=[3.3;0.2;-2.2;4.3]， 
perft=mae() 
perf = 
0.0230 
dperft _dE=dmsekCe :EX) 
dperft_dE = 
[2x1l double | 
dpert_dx=dmse(X ,上 ;入 ); 
dperf_dx=dmae(X ,上 ,入 ); 
dperl _ dx = 
ans = 
0 0 0 0 


3，dmsereg 


应 用 : 规则 化 均 方 误差 图 数 的 导 函 数 。 
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格式 : dperft _dE=dmsereg (e', E, X, perf, pp) 
dper_ dx=dmasereg (X, 上 , X, perf, pp) 
解析 : dmsereg 六 数 用 来 计算 规则 化 均 方 误差 图 数 的 输出 对 其 输入 的 导数 。 性 能 参数 pp 参 
砚 六 数 msereg， 图 数 调用 时 其 余 各 输入 量 和 返回 量 的 含义 参见 dmae 函数 。 
【 例 3-49】 对 下 列 误 甜 矢 量 五 和 权 全 和 据 量 下 计算 规则 化 均 方 误差 及 其 导数 。 
E=[T1;-0.9]: 
久 =[3.3:0.2;-2.2:4.1]， 
pp.ratio=0.9; 
PIG 和 :pp) 
peti = 
1.4110 本 四 
dperf_dE=dmagereg(e',E,X,perf,pp) 
dpert_dEbP = 
0. | 
-0.4500 
dperf_ Hamseree E Xperfpph 
dperf qdX' 
ans = 加 0 四 0 CR 
-0.1750 0 0.1100 0.2050 NE 


4.qasse 
应 用 : 平 方 和 误差 图 数 的 导 函 数 。 
格式 : dperf_dE=dsse (e, E, X, perft, pp) 
dperf_dX=dsse (X,, 和 ,pert, pp) 
解析 : dsse 肯 数 用 采矿 算 平方 和 话 雪 图 数 的 和 输出 对 其 输入 的 导数 。 男 数 调 用 时 各 参数 的 合 
义 参 见 dmae 卫 数 。 


【 例 3-50】 对 下 列 误差 矢量 如 和 权 值 矢 量 天 计算 平方 和 误 兰 及 其 导数 。 


下 上 =[ 二 -0.>]; 
和 久 =[3.2;0.2;-2.2;4.1]; 
bert=sse( 上 ， 0 
perf= 

1.2300 本 虹 
dperf_ dE=dsse(e e ,已 和 ,perbpPp) RE 有 本 
dper_ dE= 二 | | 


凑 
dperf _ NS g(X x,E,X,perf ,pp); 
dperf_dX 
ans = 

-0.1730 -0.0100 0.1100 -0.2050 


3.8 传递 函数 及 其 导 团 数 


伸 经 网 络 的 传 骨 轴 煞 及 其 导 图 数 如 表 3-8 押 示 。 
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表 3-8 神经 网 络 的 传 了 违 函数 及 其 导数 


函数 名 称 功能 功能 
hardlim 硬 限 幅 传递 函数 的 导 函 数 
hardlims 对 称 硬 限 幅 传递 函数 的 导 函 数 
purelin 纯 线性 传递 函数 dpurelin | 。 纯 线性 传递 函数 的 导 函 数 

高 斯 径 向 基 传递 函数 的 导 孙 数 
satlin dsatin 饱和 线性 传递 函数 的 导 冰 数 
satlins 对 称 饱和 线性 传递 函数 对 称 饱和 线性 传递 丽 数 的 导 函 数 


3.8.1 传递 国 妆 


1. compet 

应 用 : 竞争 传递 图 数 。 

格式 : A=compet (N) 

Info=compet (code) 

解析 : 竞争 传递 函数 compet 用 来 寻找 输入 矢量 N 中 的 最 大 元 案 ， 并 把 相应 神经 元 的 输出 
设 为 1， 其 余 输 出 设 为 0。 输出 为 1 的 神经 元 称 为 获胜 神经 元 。 

函数 调用 形式 info=compet (code) 返 回 有 关 的 函数 信息 ，code 字符 串 取 值 如 下 。 

deriv: 返回 导 函 数 的 名 称 ， 函 数 compet 没有 慎 函数: 

name': 妈 回 传递 亢 数 的 全 称 ; 

output : 返回 传递 图 数 的 和 输出 范围 : 

active': 返回 传递 图 数 的 活跃 输出 范围 。 

newc 和 newpnn 函数 建立 的 网 络 都 采用 compet 国 数 作为 传递 男 数 。 

【 例 3-$S1】 三面 给 出 一 组 MATLAB 代码 ， 可 以 演示 该 国 数 的 功能 和 运行 机 理 。 


N=[0;1;-0.5;0.3|]， 
A=compet(N) 
info=compet(name ) 
subplot(2 ,1 ,1) 
bar(N) ylabel( N 
Subplot(2,1 2) 
bar(A),ylabel(AA”) 


问 量 4 和 交 如 图 3-21 所 示 。 


radbas 











图 3-21  ” 因 数 compet 的 向 量 4 和 六 
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(& 1] ) ] 


Competitlve 


2 Softmax 
应 用 :， softmax 传递 图 数 。 
格式 : A=softmax (N) 
Info=softmax (code) 
解析 :， softmax 传递 画 数 的 计算 公式 用 MALELAB 语 合 表示 为 
a=exp(n)/SUm(Cexp(D)) 
其 参数 含义 参见 compet 轩 数 ， 与 compet 不 同 的 是 ， 参 数 A 为 图 数 返 回 网 量 ， 各 元 素 在 区 
间 [0，JH 之 间 ， 且 同 量 绪 构 与 N 一 致 。 该 图 数 也 没有 寻 函 数 。 
【 例 3-$2】 利 用 如 下 一 组 代码 汗 示 该 函数 的 功能 和 和 运行 机 理 。 
N=10:1;-0.3:0.5 |]; 
A=softmax(N) 
info=softmax(name ) 
subpjlot(2,1 ,1 ) 
bar(N),ylabel( 和 N ) 
Subplot(2,1,2) 
.bar(Aj,ylabel(AJ) 

运行 结 采 为 
A 入 = 二 

0.1074 

0.49531 

0.10134 

0.27060 
Info = 本 加 攻 和 
Soft Max 


向量 4 和 六 如 图 3-22 所 示 。 





| 2 3 4 


氏 3-22 ”图 数 softmax | 的 回 量 4 和 六 


3 hardlim 

应 用 : 使 限 幅 传递 冰 数 。 

格式 : A=hardlim (N) 
Intfo=hardiim (code) 


解析 :， 硬 限 幅 传递 函数 hardlim 把 函数 输入 矢量 N 中 各 元 素 的 取 值 强迫 限制 为 1 或 0， 当 
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输入 大 于 或 等 于 0 时， 神经 元 的 输出 为 1， 人 否则 和 输出 为 -1。 
newp 卜 数 建立 的 网 络 可 以 采用 hardlims 本 数 作为 传递 冰 数 。 
坊 病 数 的 原型 图 数 为 
1 严 兰 0 
hardlinm (my) = 
4. hardlims 
立 用 : 对 称 使 限 幅 传递 郧 数 。 
格式 : A=hardlims (N) 
info=hardjlimns (code) 
解析 : 对 称 便 限 幅 传递 函数 hardlims 把 函数 输入 矢量 N 中 各 元 素 的 取信 强迫 限制 为 1 或 
-1， 当 输入 大 于 或 等 于 0 时 ， 神 经 元 的 竹 出 为 1， 否则 得 出 为 0。 
newp 国 数 建立 的 网 络 可 以 采用 hardlim 为 数 作 为 传递 轴 数 。 
该 图 数 的 原型 轴 数 为 
1] 于 产 0 


hardlims (my) = | | 0 


由 此 可见 ， 以 上 两 个 国 数 可 以 实现 神经 网 络 的 分 类 和 判断 功能 。 
【 例 3-$S3】 利 用 MATLAB 给 出 一 个 数组 ， 调 用 函数 hardlim 与 hardlims 对 其 进行 分 类 。 
MATLAB 代码 如 下 。 


% 以 0.1 为 步 长 ， 建 立 一 个 数组 
N=-0:U.1:0; 

Al=hardlim(N):; 
A2=hardlms(N ): 


plot(N,Alroy) 
hold on 
plot(N,A2,b+ ); 
hold on 
运行 结果 如 图 3-23 所 示 。 
1 
蝇 己 
0 
- 心 .5 


图 3-23 ”利用 传递 图 数 进 行 分 美的 结 林 
图 中 加 号 部 分 是 函数 hardlims 的 分 类 结果 ; 圆圈 部 分 是 hardlim 的 分 类 结 末 。 有 可 以 看 出 网 
个 图 数 都 成 功 地 对 数组 进行 了 分 痰 。 
5，logsIg 
应 用 : 对 数 Sigmoid 传递 曙 数 。 
格式 : A=logsig (N) 


四 re 
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Info=logslg (code) 
解析 : 对 数 Sigmoid 传递 图 数 的 计算 公式 用 MATLAB 语句 表示 为 
logSig(n)= 1 (+exp(-ny)) 


newff 和 newecf 函数 建立 的 网 络 都 可 以 采用 该 图 数 作 为 传递 峡 数 。 

【 例 3-54】 下 面 以 一 组 简单 的 代码 产生 一 个 对 数 $ 型 的 传递 函数 为 例 。 

N=-10:0.1:10:， 

A=logslig(N) 

Plot(N,:A) 

运行 结果 如 图 3-24 所 示 。 可 见 ， 函 数 logsig 可 将 神经 元 的 输入 《范围 为 整个 实数 集 ) 映射 
到 区 间 [0，1] 中 ， 又 由 于 该 函数 为 可 微 函 数 ， 因 此 非常 适合 于 利用 BP 算法 训练 名 经 网 络 。 





0 
-10 - 0 9 10 


图 3-24 logsig 函数 运行 结果 


6. poslIn 
格式 : A=poslin (N) 
Info=poslin (code) 

解析 : 对 于 输入 矢量 N 中 的 正 元 素 或 0， 正 线性 传递 函数 按照 原始 数值 输出 ; 对 十 负 元 象 ， 
郧 数 将 输出 0 

【 例 3- 5 未 正 线 人 

RE ES 

太 

pjot(N,A) 

运行 结果 如 下 ， 如 图 3-25 


QtS 一 
0 0 0 3 


区 0 2 4 
图 3-25 ”poslin 的 运行 结果 


7.。purelin 


应 用 : 纯 线性 传递 函数 。 
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格式 : 如 -purelin (N) 
into=pureljin (code) 

解析 : 纯 线 性 传递 函数 把 输入 N 按照 原始 数据 输出 。newlin 和 newlind 函数 建立 的 网 络 都 
可 以 采用 该 函数 作为 传递 冰 数 。 

【 例 3-56】 下 面 以 一 组 徊 单 的 代 查 产生 一 个 线性 $ 型 传递 闵 数 。 

N=-10:0.1:10: 

A=purelimnONy); 

plot(ON,A) 

grld 


运行 结果 如 图 3-26 所 示 。 





图 3-26 ”purelin 函数 运行 结果 
8. radbas 
应 用 : 高 斯 径 癌 基 传 递 亢 数 。 
格式 : A=radbas (N) 
Info=Tradbas (code) 
解析 : 高 斯 径 回 基 传 递 冰 数 的 计算 公 却 用 MAILAB 语句 表示 为 
a=eXp(-n.^ 人 2 ) 
newpnn 和 newgrann 国 数 建立 的 网 络 都 可 以 采用 该 图 数 作 为 传递 国 数 。 
【 例 3-57】 下 面 以 一 组 简单 的 代码 产生 一 个 融 斯 径 回 基 传 递 图 数 。 
N=-10:0.1:10: 
A=radbas(N); 





plot(N.A) 
grld 
运行 结 朱 如 图 3-27 所 示 。 
0 
-10 - 吕 吕 5 10 
图 3-27 radbas 疯 数 达 行 结 未 
9，Satlin 


应 用 : 饱和 线性 传递 函数 。 
格式 : A=satlin (N) 
Info=satjin (code) 


二 
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解析 : 饱和 线性 传递 另 效 把 输入 天 量 N 中 位 于 [0， 菇 区 轩 欠 的 元 素 近 照 忆 始 数据 和 输出， 对 
于 小 于 0 的 元 素 ， 则 输出 0， 对 于 大 于 上 1 的 元 素 ， 则 输出 1。 

【 例 3-58】 求 饱和 线性 传 甫 国 数 对 下 列 输 入 天 量 的 输出 。 

N=|-3:-1:0.5: 3] 
和 斥 =Satllin(N); 


太 
as 加 本 

0 0 0.3000 1.0000 1 .0000 
10. Satllins 


应 用 : 对 称 饱 和 线性 传递 图 数 。 
格式 : A=satlins (N) 
Info=satlins (code) 
解析 : 对 称 饱 和 线性 传递 函数 把 输入 矢量 N 中 位 于 [-1 1 区 间 内 的 元 系 按 照 忌 始 数据 输出 : 
对 于 小 于 -1 的 元 素 ， 则 输出 -1;， 对 于 大 于 1 的 元 素 ， 则 和 输出 1。 
newhop 图 数 建立 的 网 络 采 用 该 函数 作为 传递 旺 数 。 
【 例 3-59 】 求 对 称 饱 和 线性 传递 函数 对 下 列 和 输入 天 量 的 和 输出。 
N=|-3;-12:0.2 3]; 
A=satjins(N): 
A， 
ans = 
-1.0000 -1.0000 “0.5000 ”1.0000 1.0000 加 加 
11.，tanslg 
应 用 : 正切 Sigmoid 传递 晃 数 。 
格式 : A=tansig (N) 
lnfo=tanslg (code) 
解析 : tansig 传递 函数 的 计算 公式 用 MAILAB 语句 表示 为 
D 一 2/(1+exp (-28#n))-] 
newff 和 newcf 函数 建立 的 网 络 都 可 以 采用 该 图 数 作 为 传递 函数 。 
【 例 3-60】 以 下 代码 可 绘制 一 个 双向 正切 S$ 型 传递 函数 。 
N=-10:0.1 :10: 
A=tanslg(N); 
plot(N,A) 
grld 
运行 结果 如 图 3-28 所 未 。 





10 5 0 5 10 
图 3-28 tangsig 冰 数 运行 结果 
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12. tribas 

应 用 : 三 角 基 传递 函数 。 

格式 : A=tribas (UN ) 

Info=tribas (code) 

解析 : 当 输 入 天 量 N 中 的 元 素 位 于 [-1，H 区 间 时 ，tribas 传递 函数 的 计算 公式 用 MATLAB 

语句 表示 为 
nn 三] -abs(D) 

当 元 么 在 坊 区 间 外 时 ， 函 数 得 出 为 0。 

【 例 3-61】 求 tribas 传递 函数 对 下 列 输入 矢量 的 输出 。 

N=|-3:-1;-0.8:0.9:0.8;1 :3]: 


A=ftribpas(N ): 
A 
ans == 
0 0 0U.2000 0.9000 0.2000 0 0 


3.8.2 ”传习 鸭 数 的 导 国 数 


1. dhardlim 

应 用 : 人 硬 限 幅 传 递 玫 数 的 导 函 数 。 

格式 : dA_dN=dhardlim (N, A) 

解析 :， 诅 畏 效用 来 计算 便 限 幅 图 数 的 输出 A 相对 于 输入 N 的 导数 。 

【 例 3-62】 利 用 MATLAB 给 出 一 个 数组 ， 调 用 函数 dhardlim 对 其 进行 分 类 。MATLAB 代 
他 如 下 。 

双 以 0.1 为 步 长 ， 建 也 一 个 数组 

N=-0:0.1:6; 

Al1=hardlim(N); 

dA_dN=dhardlhmON,Al) 

plot(N,A,Tr+ 1) 

hold on 


运行 效 打 如 图 3-29 所 不。 


图 3-29 dhardlim 函数 运行 结果 
2. dhardqdlims 
应 用 : 对 称 便 限 幅 传 递 图 数 的 导 图 数 。 
格式 : dA_dN=dhardlims (N, A) 
解析 : 该 图 数 用 于 计算 对 称 便 限 幅 轴 数 的 输出 A 相对 于 输入 N 的 导数 。 
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【 例 3-63】 求 对 称 使 限 幅 函数 的 输出 4 相对 于 输入 广 的 寻 数 。 
N=[-3;-1;-0.8;0.3;0.8;13]; 

A=hardlms(Ny): 

dA_dN=dhardlim(N,A); 

dA_dN 

ans 三 

0 0 0 0 0 0 0 


3. dlogslg 
应 用 : 对 数 Sigmoid 传递 函数 的 寻 函 数 。 
格式 : dA_dN=dlogsig (N, A) 
解析 : 该 函数 用 于 计算 对 数 Sigmoid 国 数 的 输出 A 相对 于 输入 N 的 纤 妆 。 
【 例 3-64】 现 有 某 BP 网 络 层 的 3 个 神经 元 ， 其 传递 函数 均 为 $ 型 的 对 数 函 数 ， 试 利用 函数 
dlogsig 求解 得 出 对 输入 的 导数 。 

N=[-3:-1:-0.8;0.3;0.8;13;3]; 
N=[0.2;0.9;-0.0:;-2]; 
A=]ogstg(N) 
dA_dN=dlogslig(WN,AI) 
运行 结 未 如 下 
乓 一 

0.3498 

0.7109 

0.3343 

U.1192 
dA_dN = 

0U.6791 

U.8333 

0.4389 

0U.1323 


4.， dposlin 
应 用 : 正 线性 传递 图 数 的 寻 困 煞 。 
格式 : dA_dN=dposlin (N, A) 
解析 : 该 图 数 用 于 计算 正 线性 函数 的 输出 A 相对 于 和 输入 N 的 寻 数 。 
【 例 3-65】 求 正 线性 传递 函数 的 得 出 对 下 列 和 输入 天 莉 的 导数 。 
N=[-1;0;0.5]; 
A=poshn(ON); 
dA_dN=dposlinGN,A) 
dA_dN = 
0 


] 
| 


5. dpurelln 
应 用 : 纯 线 性 传递 晒 数 的 寻 昌 数 。 
格式 : dA_dN=dpurelin (N, A) 
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解析 : 该 函数 用 于 计算 纯 线 性 数 的 输出 A 相对 于 和 输入 N 的 导数 。 
【 例 3-66】 求 纯 线性 传递 函数 的 输出 对 下 列 得 入 矢量 的 导数 。 
N=[-1;0;0.9]; 
A=purejin(N); 
dA_dN=dpurelin(N:A) 
dA _ dN = 
] 
] 
] 
6. dradbas 
应 用 : 高 斯 径 同 基 传 递 函 数 的 导 国 数 。 
格式 : dA_dN=dradbas (N, A) 


解析 : 该 函数 用 于 计算 高 斯 径 向 基 图 数 的 输出 A 相对 于 得 入 N 的 导数 。 
【 例 3-67】 下 面 以 一 组 简单 的 代码 产生 一 个 高 斯 径 网 基 传 违 图 数 的 媳 数 。 


N=-10:0.1:10; 
A=radbas(N): 
dA_dN=dradbas(N,A); 
plot(N,dA_dN) 

grld 

运行 结 素 如 图 3-30 所 示 。 





10 10 
图 3-30 dradbas 因数 运行 结果 
7 dsatlln 
应 用 : 饱和 线性 传递 函数 的 导 函 数 。 
格式 : dA_dN=dsatlin (N, A) 


解析 : 该 函数 用 于 计算 饱和 线性 图 数 的 输出 A 相对 于 得 入 N 的 寻 化 。 


【 例 3-68】 求 饱和 线性 传递 函数 的 输出 对 下 列 输入 天 量 的 寻 数 。 
N=[-1:0:;0.3:2j]: 和 
A=satiin(N ); 
dA_dN=dsatlnGON,A) 
dA_dN = 
0 

] 

| 

0 


8.， dsatiins 
应 用 : 对 称 饱 和 线性 传递 轴 数 的 寻 贤 效 。 
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格式 : dA_dN=dsatlins (N, A) 
解析 : 该 函数 用 于 对 称 饱 和 线性 函数 的 输出 A 相对 于 输入 N 的 导数 。 
【 例 3-69】 求 对 称 饱和 线性 传递 函数 的 输出 对 下 列 输入 矢量 的 导数 。 
N=|-3;-1;0;0.3;2]; 
A=satins(N): 
dA_dN=dsatlins(N,A) 
dA_dN = 

0 

0 

] 

] 

0 


9._ dtanslg 

应 用 :， tansig 传递 函数 的 导 函 数 。 

格式 : dA_dN=dtansig (N, A) 

解析 : 葬 图 数 用 于 计算 tansig 图 数 的 输出 A 相对 于 输入 N 的 导数 。 
【 例 3-70】 以 下 代 但 可 绘制 一 个 双 曲 正切 $ 型 传递 图 数 的 导 函 数 。 
N=-10:U.1:10: 

A=tanslg(N); 

dA_dN=dtansig(N,A): 

pjot(N,d4A_dN) 

gTld 

运行 结束 如 图 3-31 所 示 。 





- 5 10 
鲁 3-31 dtansig 的 运行 结果 


10. dtribas 

应 用 : 一 角 基 传递 图 数 的 导 图 数 。 

格式 : dA_dN=dtribas(N, A) 

解析 : 运 示 数 用 于 计算 三 角 基 数 的 输出 A 相对 于 输入 N 的 导数 。 
【 例 3-71】 求 triabas 传递 国 数 的 输出 对 下 列 输入 矢量 的 导数 。 


N=[-2:0.9:;0.8;2]; 
A=ftribas(N)， 
dA_dN=dtnbas(N,A) 
dA_dN = 
0 
-] 
-1 
0 
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3.9 距离 函数 


目 组 织 映 届 网 络 的 距离 函数 如 表 3-9 所 示 。 
表 3-9 自 组 织 映射 网 络 的 距离 函数 





WE Te 
linkdist 连接 距离 衣 数 mandist 沈 哈 顿 距 离 加 权 贾 数 
1 poxdqdlst 


应 用 : Box 距离 冰 数 。 

格式 : d=boxdist (pos) 

解析 : 在 给 定神 经 网 络 某 层 的 神经 元 的 位 置 后 ， 可 利用 该 困 数 计算 神经 元 之 间 的 距离 。 该 
国 数 通 贡 用 于 绪 构 图 数 有 的 gridtop 的 神经 网 络 讨 。 其 参数 人 台 义 如 下 。 

pos: 神经 元 位 置 的 XXXs3 维 官 阵 : 

d: 因数 返回 值 ， 神 经 元 距离 的 SX5S 维 扎 阵 。 


函数 的 运算 原理 为 di, 旋 =max| 忆 -~ 己 


置 定 阵 的 第 了 上 列 问 量 。 
【 例 3-72】 以 下 MATLAB 代码 可 以 汗 示 赵 函 数 的 运算 规则 。 
% 产 生 一 个 3X3 的 和 窍 阵 
pos=rand(3,3) 
d=boxdlst(pos) 
运行 结果 为 
pos = 
0.95301] 0U.4860 0.43065 


0U.231 1] 0U.891 3 0.0183 
0.0008 0.7021 0.8214 








, 其 中 ，dG, 力 表示 距离 矩阵 中 的 元 素 ， 尸 表示 位 


d = 
0 0.66002 0.4937 
0.6602 0 0.8728 
0.4937 0.58728 0 
2，|Inkdist 


应 用 : 该 函数 为 连 搂 距离 约 数 。 

格式 : d=linkdist (pos) 

解析 : 在 给 定神 经 元 的 位 置 后 ， 该 函数 可 用 于 计算 神经 元 之 间 的 距离 。 其 参数 含义 参数 
boxdist 函数 。 
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0 如 采 != / 


] 如 果 sum|( 忆 人 ) 1] 
4 站 =12 如 条 存在 天 使 竺 KGK) = 4 旋 =] 
] 如 宋 和 存在 上 ,万 , 使 傈 Gd 大 ) Gd (KK ) 人 CG(K， 用 一 ! 
人 如 采 存 在 后 ;后 使 得 GCC 大) QCA AD ) 人 QXCCN JJ =] 
$ 其 他 


【 例 3-73】 下 面 用 一 组 代码 演示 该 函数 的 运算 原理 。 
4% 产 生 一 个 3X3 的 和 E 阵 
pos=ranid(3,3); wa 
d=linkdist(pos)y 
运行 结 末 为 


3 dhst 
应 用 : 欧 氏 距离 加 权 吨 数 。 
格式 : Z=dist (W, P) 
df=dlst (deriv ) 
d=dist (Pos) 
解析 : 通过 对 和 输入 进行 加 权 得 到 加 权 后 的 和 输入。 其 参数 含义 如 下 。 
W: S$x 妇 维 的 权 人 矩阵; 
P: @C 组 输入 《〈 列 ) 回 量 的 尺 XC 维 下 阵 ; 
Z: 9$Xxe@ 维 的 距离 眠 阵 ; 
df=dist (Cderiv): 返回 值 为 空 ， 因 为 恋 函 数 不 人 存在 导 男 数 。 
其 他 参数 含义 请 参见 boxdist 函数 。 
曙 数 的 运算 规则 为 @& = sqrtlsum 人 zx 要 四， 其 中 x 和 ?分 别 为 列 问 量 。 
【 例 3-74】 下 面 用 一 组 代码 演示 该 函数 的 运行 机 理 。 
Wan 
pos=rand(33) ie 
d=dist(pos) 5 汪 


运行 结果 为 


0 02340 0797 


于 二 


二 本本 
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U.2340 0U 0.68749 
U.7917 U.68 /3 OU 
4、mandlst 


应 用 : 为 Manhattan 距离 权 函 数 。 
格式 :， Z=mandist (W, P) 
dt=mandlist ( derlv ) 
d=mandlst (PoOS) 
解析 : 各 参数 含义 参见 dist。 
函数 的 运算 原理 为 &=sum(abs( 瑟 -了 ))， 其 中 天 和 了 为 两 个 向 量 。 
【 例 3-7$】 利用 下 面 一 组 代码 污 示 mandist 函数 。 
pos=rand(3,3); 
d=Imandist(pos) 


运行 线 未 为 
d 三 
0 ”0.5246 0.4848 
0.5246 0 ”0.2317 
0.4848 ”0.2317 0 





3.10 ” 权 值 函数 及 其 导 国 数 
加 权 函 数 如 表 3-10 所 示 , 这 类 冰 数 确定 了 神经 网 络 每 层 的 输入 矢量 和 神经 元 权 值 矩阵 通过 
何 种 计算 方式 得 到 神经 元 的 传递 国 数 的 加 权 输 入 量 。 
表 3-10 ”加 权 国 数 及 其 导 国 数 


dotprod 内 祝 加 权 六 煞 ddotprod 内 积 加 极 范 效 的 寻 函 数 





negdist 负 殉 氏 距 离 加 权 旺 数 


pa 
3.10.1 权 值 函数 


1.， dotprod 
应 用 : 内 积 加 权 胃 数 。 
格式 : Z=dotprod (W, P) 
dt=dotprod (demyv ) 
解析 : 它 求 权 值 与 和 输入 之 间 的 点 积 作 为 的 加 权 输 入 。 其 参数 含义 如 下 。 
W: SSXx 民 维 的 权 值 是 阵 ; 
P: C@ 组 尺 维 的 输入 加 量 ; 
Z: @ 组 尺 维 的 W 与 P 的 点 积 ; 
df=dotprod Cderiv): 返回 函数 的 导数 。 


0 
昌 AR ee 芝 
3 村 本 二 
人 和 
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【 例 3-76】 建 立 两 个 矩阵 〈 或 癌 量 )， 演 示 函 数 dotprod 的 功能 
攻 建 也 一 个 4X3 的 算 阵 ， 所 有 元 素 都 小 于 ] 

W=rand(4,.3) 

多 建立 一 个 3X1 的 矩阵 ， 所 有 元 素 都 小 于 | 


P=rand(3,1)， 
=dotprod(Y ,P); 
R 


AV 

输出 结果 为 
0.2259 “0.6405 ”0.6808 
0.5798 ”0.2091 0.4611 
0.7604 “0.3798 0.5678 
0.5298 ”0.7833 ”0.7942 

an 一 四 
0.0592 ”0.6029 ”0.0503 

ans 一 情 枉 
0.4338 。” 0.183$ ”0.3025 0.$435 

2. negdist 


应 用 : 负 欧 氏 距 离 加 权 函 数 。 
格式 : Z=negdist (W, P) 
df=negdist (deriv ) 


| 


解析 : negdist 图 数 用 于 计算 两 矢量 间 的 负 欧 氏 距 离 ， 其 运算 原理 为 & = -sum 攻 - 攻 六 
其 中 , 双 为 天 量 半 与 ?之 间 的 负 欧 氏 距 离 。 


图 数 调用 时 各 参数 参见 dotprod 函数 。negdist 没有 导 函 数 。 
【 例 3-77】 六 定 一 个 权 值 定 阵 三 和 输入 矢量 已 ， 计 算 其 负 欧 
W=[0.9 0.5 0.7;0.1 0.6 0.7]: 
P=[0.3 0 1]! 
AZ=negdlst(W ,了 ) 
输出 为 
V 一 

-0.8367 

-0U.7000 
3，normprod 
应 用 : 规则 化 内 积 加 权 贞 数 。 
格式 : Z=normprod (W, P) 

dft=normprod (deriv ) 
解析 : normprod 国 数 用 于 计算 两 天 量 之 闻 的 规则 化 内 积 ， 其 计算 怕 理 为 乙 = 作 xx 王 /sum( 尼 ) 。 
其 中 ， 网 为 权 信 天 量 ， 忆 为 输入 矢量 ，Z 为 规则 化 内 积 。 

图 数 参 数 的 人 台 义 参见 dotprod 函数 。normprod 国 数 疫 有 导 耻 数 。 
【 例 3-78】 太 定 权 人 下 阵 王 和 输入 天 量 忆 ， 计 算 其 规则 化 内 祝 的 加 权 输 入 。 


W=[0.9 0.5 0.7;:0.1 0.6 0.71]， 
P=[0.3 0 0.8]': 


区 氏 距 离 加 权 输 入 
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一 normprod(W ,P) 
答 出 结果 为 


必 一 
0.7343 
0.3301 


3.10.2” 权 值 国 数 的 导 困 数 


ddotprod 

应 用 : 内 积 加 权 函 数 的 寻 函 数 。 

格式 : dZ_dP=ddotprod(p'，W, P Z) 

dd _ dw=ddotprod(Cw ,WwW, 了 Z 

解析 : ddotprod 函数 用 于 计算 内 积 图 数 的 输出 对 输入 矢量 的 导数 。 

在 图 数 的 调用 形式 dZ_dP=ddotprod(p, W,PZ) 中 ，W 为 权 值 矩阵 ，P 为 该 层 网 络 的 输入 矢 
量 ，Z 为 内 积 窍 阵 ， 函 数 返 回 内 积 图 数 输出 对 输入 矢量 的 导数 。 函 数 的 调用 形式 
dZ_dW=ddotprodCw', W, P, 已 返回 内 积 图 数 的 输出 量 对 权 值 下 阵 的 导数 。 

【 例 3-79】 设 定 权 值 窃 阵 太 和 输入 矢量 忆 ， 计 算 内 积 加 权 输 入 及 其 导数 。 

W=[0.9 0.3 0.7;0.1 0.0 0.7|， 

P=|10.3 0 0.8] ; 

Z=dotprod(W , 卫 ) 

dZ_dP=ddotprod(CP ,YY 了, ) 

ddW=ddotprod(w ,W,P,Z) 


竹 出 结 未 为 


一 
0.8300 
0.5900 
dZ_dbP = 
0.59000 0.30U0 0.70U00 
0.1000 0U.0UU0 0U. /7UUU 
dd dW = 
0.3000 
0 
0.8000 


3.11 ”结构 函数 


结构 图 数 如 表 3-11 所 示 。 





表 3-11 结构 函数 


浮 数 名 各 功 能 
hextop 私 攻 丘 结 构 示 数 
gridtop 网 恪 层 结构 果 数 


randtop 取 机 层 绪 构 困 数 


扣 
ae 


MATLAB 神经 网 络 仿 真 与 应 用 


1， hextop 

应 用 : 充 田 数 为 人 六角 层 结构 函数 。 

格式 : pos=hextop (diml, dimn2，…… dimN) 

解析 : dim; 维 数 为 上 层 的 长 度 ，pos 由 个 并 列 向 量 组 成 的 WX8 维 矩阵 ， 其 中 ，S=diml X 
dm2 关 … 基 dmN。 

【 例 3-80】 利 用 该 函数 创建 一 个 二 维 的 神经 网 络 屋 ， 共 有 35 个 神经 元 ， 分 布 在 一 个 7X5 
的 六 角 唱 格 上 。 其 代码 如 下 。 

pos=hextop 人 (7.3); 

plotsom(pos) 


运行 结果 如 图 3-32 所 示 。 


Neuron PoSsSitiGns 


Positiont2, 响 





postiont , 


网 3-32 ” 胃 数 hextop 产生 的 35 个 神经 元 的 分 布 位 置 


2.， grdtop 

应 用 : 该 函数 为 网 格 层 结构 函数 。 

格式 : pos=gridtop (diml, dim2…… dimN) 

解析 : 各 参数 含义 参见 hextop 函数 。 

【 例 3-81】 利 用 葬 函 数 创 建 一 个 二 维 的 神经 网 络 层 ， 共 有 35 个 神经 元 ， 分 布 在 一 个 7X$ 
的 网 格 上 。 代 但 如 下 。 

pos=gridtop(7;5); 

plotsom(pos) 

运行 结果 如 图 3-33 所 示 。 


Neuron Posltions 


必 


PoOsitIonte 履 
| 





《7 


让 2 4 唱 
pos tiont 1 ,1) 


图 3-33 ”函数 grnidtop 产生 的 35 个 神经 元 的 分 布 位 置 
3，randtop 
应 用 : 议 冰 数 为 随机 层 结构 图 数 。 
格式 : pos=randtop (diml dim2,…… dimN) 
解析 : 各 参数 含义 参见 hextop。 
【 例 3-82】 利 用 该 玫 数 创建 一 个 二 维 的 神经 网 络 层 ， 共 有 35 个 神经 元 ， 分 布 在 一 个 7X5 
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的 随机 网 格 上 上。 代码 如 下 。 


pos=Tandtop(7,5); 
plotsorm(pos) 


运行 结果 如 图 3-34 所 示 。 


Neuron Positions 


positionf2,j) 





pPDSrkiont1 放 


图 3-34 ”函数 randtop 产生 的 35 个 神经 元 的 分 布 位 置 


3.12 ”分析 团 数 


分 析 卫 数 如 表 3-12 所 示 。 
表 3-12 分 析 国 数 


沾 数 名 称 功 能 
errsuIf 计算 单 输 入 神经 元 的 误差 曲面 
maxlinlr 求 取 线性 神经 网 络 的 最 大 学 习 速 率 


1 errsuri 

应 用 : 计算 站 输入 人 利 经 元 的 放 差 曲面 。 

格式 : E=errsurf (PT WV, BV, F) 

解析 : 衣 函 数 可 用 于 计算 单 输入 神经 元 在 给 定 的 权 值 范围 天 量 和 值 范围 天 量 的 情况 下 的 
网 络 误 兰 。 图 数 的 输入 为 神经 元 天 量 PP、 目标 天 量 T、 权 值 艺 围 天 量 WV、 逆 值 范 围 天 量 BV 
以 及 神经 元 传递 图 数 FE， 男 数 退 回 误 差 曲 面 各 氮 的 误 专 下 。 


【 例 3-83】 下面 的 一 组 代 但 可 以 分 析 一 个 BP 网 络 中 茶 个 神经 元 的 误 关 ， 并 绘制 出 其 误差 曲 
留 与 轮廓 线 。 


P=[-6.10-4.1-444.1-66.11 

T=[0 | 89， 0 92 0 02 0 040 了 RE 

BV-=-3:023 Www 

ES=errsurfKP.T,WV,.BV ogg ES 四 
多 绘制 误差 曲面 和 等 高 线 ， 汪 辐 3-35 所 示 ES 

plotes(WV,BV,ES， :1O 30]) ee 人 

W =(U; 

了 =0; 

E=Sse( 工 - logsig(W*#P+B)): 

pjotep(W BE) 


二 
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For 忆 U 由 Ce Frror ontobr 





本 
履 站 
本- 


wyeight WwW 
《a) 误差 曲面 《b) 等 高 线 
图 3-3$ ”误差 曲面 和 等 高 线 
2.，maxllInjr 
应 用 : 求 取 线性 神经 网 络 的 最 大 学 习 速 率 。 
格式 :1lr=maxlinlr (P) 
1r=maxlinlr (PE blas ) 
解析 : maxlinlr 函数 可 以 根据 线性 神经 网 络 的 输入 矢量 了 设 定 网 络 的 学 习 速 率 。 当 网 络 神 
经 元 疫 有 浆 值 时 , 使 用 图 煞 形 式 Ir=maxlinlr (P) 来 获得 权 值 的 学 习 速 率 ; 当 网 络 神经 元 有 浆 值 时 ， 
使 用 形 陈 Ir=maxlinlr (Pbias) 得 到 权 值 和 阔 值 的 学 习 速 率 。 
【 例 3-84】 下面 一 组 代 但 可 在 给 定 和 输入 王 的 情况 下 ， 分 “ 送 国 值 ” 和 “不 带 闪 值 ”两 种 情 
况 来 得 充 线 性 层 所 需 的 最 大 学 习 速 率 。 
=[12-37;0.24107]; 
lirl1=maxlinjr(0P,:blas ) 
jir2=maxjimnlirPy) 
运行 结果 为 
irl = 
0.0057 


]r2 = 
U.00438 


3.13 ”转换 函数 


转换 冰 数 如 表 3-13 所 示 。 
表 3-13 ”转换 函数 


函数 名 称 功 能 
sp2narx 转换 串联 输入 为 平行 输入 
ind2vec 将 数据 索引 转换 为 向 量 组 
vec2ind ind2vec 的 逆 函 数 
cell2mat 将 矩阵 构成 的 单元 数组 组 合成 矩阵 
mat2cell 将 窍 阵 分 裂 为 由 于 定 阵 构成 的 单元 数组 
combvec 建立 矢量 所 有 组 合 的 和 托 阵 
con2seqg 将 并 行 矢 量 转换 为 串 行 矢 量 


Eee 复制 阐 值 矢量 并 构成 矩阵 
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续 表 
浮 数 名 称 功 能 
Tintlax 求 妃 陡 每 行 的 范 财 
normr 正则 化 矩阵 的 行 
normc 正则 化 宅 阵 的 列 
pnormc 伤 正 则 化 阜 阵 的 列 
quant 将 实数 量化 为 霖 一 数值 的 整数 倍 
SuImsqr 求 定 阵 的 平方 和 
sed2con 将 尘 行 天 量 转 换 为 并 行 天 量 
1 Sp2narx 


应 用 : 转换 串联 输入 为 平行 输入 。 

格式 : net=sp2narx (neft) 

解析 : 其 中 net=sp2narx 用 于 把 一 个 串联 输入 非 线性 回归 神经 网 络 转换 为 平行 输入 ;net 为 
原来 的 串联 输入 非 线性 回归 神经 网 络 。 

2. Ind2vec 

应 用 : 用 于 将 数据 寺 引 转换 为 问 量 组 。 

格式 : vec=ind2vec (ind) 

解析 : ind 为 数据 索引 列 同 量 ;， vec 为 图 数 返 加 但， 一 个 血 下 窍 阵 ， 每 行 上 只 有 一 个 1， 起 阵 
的 行 数 等 于 数据 索引 的 个 数 ， 列 数 等 于 数据 索引 中 的 最 大 值 。 

【 例 3-85】 可 通过 下 面 的 一 组 代 但 冰 示 ind2vec 的 计算 原理 。 

ind=[3379]; 

vec=Iind2vec(lnd ) 


上 述 代码 的 第 一 行 定义 了 一 个 数据 索引 列 向 量 ， 第 二 行将 其 转换 为 向 量 组 。 运 行 结果 为 


Ye 一 
(3.T) ] 
(S.2) ] 
(7.3) | 
(9.4) 1 


可 以 看 出 ， 结 果 应 该 是 一 个 4x3 的 乱 阵 ， 其 中 《》) 是 与 数据 索引 列 网 量 相对 应 的 。 区 
为 数据 索引 值 ，y 表示 在 数据 索引 中 的 位 置 ， 由 此 组 成 了 输出 窍 阵 。 和 窍 阵 中 贡 有 项 满 的 部 人 
需要 用 0 补 齐 。 
3.，Vvec2ind 
该 用 数 用 于 将 同 量 组 转换 为 数据 索引 ， 与 ind2vec 是 互 地 上 。 
4.，cell2mat 
应 用 : 将 十 阵 构 成 的 单元 数组 组 合成 下 隆 。 
格式 : m=cell]2mat (c) 
解析 : cell2mat 函数 可 以 把 矩阵 构成 的 单元 数组 重组 为 征 阵 。 项 数 的 输入 < 征 一 个 里 元 数 
卫 数 退 加 由 < 中 各 元 素 构 成 的 窍 阵 。 
【 例 3-86 】 
c 三 革 开 [3 下 [4 人 ;与 


AS 
区 
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mm=cellj2mat(c) 


输出 为 

ma 三 
] 3 
个 9 
8 7 


5 CombvecC 

应 用 : 建立 舌 量 所 有 组 合 的 矩阵 。 

格式 : a=combvec (al, a2,…, aN) 

解析 : combvec 汞 数 将 建立 输入 窍 阵 al 到 aN 中 各 列 矢 量 的 所 有 组 合 ， 并 返回 由 这 些 组 合 
构成 的 炬 阵 。 

【 例 3-87 】 

al=[1 3;5 7]; WE 

a2=[2;4]; 全 人 

a3=combvec(al,a2) 

竹 出 为 

33 = 


hf 人 一 
全 人 ~ 


生 


6 con2seq 

应 用 : 将 并 行 天 量 转 换 为 串 行 天 量 。 

格式 : S=con2seq (b) 

S=CcCon2Seq (b, TS ) 

解析 : 在 神经 网 络 工 具 箱 中 ， 窍 阵 用 于 存储 神经 网 络 的 并 行 输入 矢量 ， 单 元 数组 用 于 存储 
网 络 的 串 行 输入 天 量 。con2sedq 冰 数 可 以 实现 网 络 并 行 输入 天 量 到 串 行 输入 矢量 的 转换 。 

在 数 的 调用 s=con2seq (b) 中 ， 国 数 输 入 十 阵 为 b， 返 回 单元 数组 为 S，s 中 的 每 一 个 元 素 
为 业 阵 b 的 列 天 量 。 在 图 数 的 调用 s=con2seq (b,TS) 中 ， 六 数 输入 b 为 X 1 维 单元 数组 ，b 中 
的 每 一 个 元 又 是 由 到 x Ts 列 并 行 输入 矢量 构成 的 矩阵 ，TS 为 网 络 的 工具 步 数 ;图 数 返 回 NXT8 
维 单元 数组 s，s 中 的 每 一 元 率 是 由 M 列 并 行 输入 天 量 构成 的 矩阵 。 

【 例 3-88 】 

P1=[133; 

P2=con2seq( 了 1 

多 出 为 

P2 = 

[| [53 [> 

7 Concur 

应 用 : 复制 较 人 天 量 并 构成 矩阵 。 

格式 : concur ( 卫 , 〇 ) 


第 3 章 神经 网 络 工 具 箱 函数 的 分 析 及 实例 


[1 UDC 和 LE_Ur_-_ TCF 一 


解析 : concur 函数 的 输入 了 为 浆 值 天 量 ，Q 为 复数 次 数 ， 图 数 返 回 的 算 阵 是 由 Q 个 尿 阀 值 
天 量 构 成 的 起 阵 。 

【 例 3-89 】 

B=f12:4:0]; 

coOncUTn 了 ,3 ) 

竹 册 为 


8. mat2cel| 

应 用 : 将 矩阵 分 袭 由 子 和 矩阵 构 成 的 单元 数组 。 

格式 : cell=mat2cell (M, R，C) 

解析 “mat2cell 函数 对 输入 矩阵 M 进行 分 裂 ， 分 玖 后 各 于 矩阵 的 行 数 由 天 量 R 决定 ， 列 数 
由 矢量 C 决定 。 函 数 返 回 由 各 子 矩 阵 构成 的 单元 数组 cell。 

【 例 3-90 了 

M=[147238:369|; 

C=mat2cell(0M.2 1] ,| 2 ) 


输出 为 
[2xl double] [2x2 doublel 
3] [lx2 double] 
9.、mInmax 


应 用 : 求 和 矩阵 每 行 的 苑 围 。 

格式 : PR=minmax (P) 

解析 :minmax 函数 求 取 输入 矩阵 P 中 每 一 行 天 量 的 取信 范围 ， 并 返回 各 行 中 最 小 值 和 好 
大 值 构成 的 范围 矩阵 PR.。 

【 例 3-91 】 

P=[-1.561;72 -1 4]; 


PR=minmax(P) 


得 出 为 


10.，normr 

应 用 : 正则 化 窍 阵 的 行 。 

格式 : N=normr (MD) 

解析 : normr 函数 对 其 输入 矩阵 M 进行 正则 化 ,函数 返回 的 正则 化 矩阵 N 与 穆 始 年 阵 维 数 
相同 ， 和 矩阵 每 一 行 元 素 的 平方 和 变 为 1， 但 各 元 素 之 加 的 比例 不 要 。 
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【 例 3-92 】 
M=[13 3;7 9;2 60]; 
N=normr(OM 
得 出 为 
N = 
0.3143 0.8373 


0.0139 0.7894 
0.3102 0.9437 


11. mormc 

应 用 : 正则 化 矩阵 的 列 。 

格式 : N=normc (MD 

解析 : norme 函数 对 其 输入 矩阵 M 进行 正则 化 , 函数 返回 的 正则 化 矩阵 N 与 怕 始 算 阵 维 效 


相同 ， 抢 阵 每 一 列 元 素 的 平方 和 变 为 1， 但 各 元 素 之 间 的 比例 个 变 。 


全 


【 例 3-93 】 
M=[3 5$;7 9:2 6]; 
N=normc(V 
和 输出 为 
N 王 
0.3810 0.4196 


0.8890 07553 
0.2540 05035 有 


12. pnormc 

应 用 : 伪 正 则 化 窍 阵 的 列 。 

格式 : N=pnormc (M, R) 

解析 : pnormr 函数 通过 对 输入 矩阵 M 的 每 一 列 添 加 一 个 元 素 得 到 伪 正 则 化 矩阵 N，KN 中 


一列 元 素 的 平方 和 等 于 输入 参数 R 的 平方 。 


【 例 3-94 】 


M=|[3 9;7 9:2 六 |; 
N=pnormac(WML6) 


省 出 为 
N = 
3.0000 5.0000 
7.0000 9.0000 
2.0000 8.0000 
0 + 9.09901 0 +11.3738i 
13.， Quant 


应 用 : 将 实数 量化 为 某 一 数 全 的 整数 们 ， 
格式 : quant (X,GQ) 
解析 :，quant 函数 将 矩阵 X 中 的 每 个 元 素 离 散 化 为 量化 因子 Q 的 最 近 整 数 倍 。 
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【 例 3-95 】 

X 二 [1.6372 9.3378 -1.7892]; 

Y=gquant( 和,U.2) 

竹 出 为 

Y= 

1.6000 3.4000 -1.8000 

14.， Seq2con 

应 用 : 将 串 行 天 量 转换 为 并 行 矢量 。 

格式 : b=seq2con (S) 

解析 : 在 神经 网 络 工 具 箱 中 ， 眠 阵 用 于 存储 神经 网 络 的 并 行 输入 矢量 ， 单 元 数组 用 于 存储 
网 络 的 昌 行 输入 天 量 。seq2con 芳 数 可 以 实现 网 络 串 行 输入 矢量 到 并 行 输入 矢量 的 转换 。 

郧 数 得 入 s 为 WXTsS 维 单元 数组 ，s 中 的 每 一 个 元 素 是 由 1 列 矢 量 构成 的 矩阵 。 函 数 返 回 
AN 关 1 维 的 单元 数组 b，b 中 的 每 一 个 元 素 是 由 妈 XTs 列 并 行 输 入 矢量 构成 的 矩阵 。 

【 例 3-96 】 

pl={11391; 

p2=Seq2con(pP1T) 

竹 出 为 


p< = 
[1X3 double] 


由 .上述 纺 生 可 知 ， 单 元 数组 p2 中 的 唯一 元 素 是 一 个 1X3 维和 矩阵。 
p<{ | 
Qin 一 
|] 9 
15，Sumsdr 
应 用 : 求 窍 阵 的 闭 方 和 。 
格式 : Sumsqr (m) 
解析 : sumsqr 函数 用 来 求 取 函数 输入 目 阵 m 中 各 元 素 的 平方 和 。 
【 例 3-97 】 
s=SUmSqr([3 7;2 4]) 
S 一 
120 


3.14 ”绘图 数 


绘图 男 数 如 表 3-14 所 示 。 
表 3-14 绘图 函数 


hintonw “| 。 绘制 权 值 垂 阵 的 Hinton 图 四 在 感知 器 输入 矢量 图 上 绘制 分 界线 


hintonwb | 绘制 权 值 矩阵 和 闪 值 矢量 的 Hinton 图 绘制 网 络 训练 过 程 中 的 性 能 变化 曲线 
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续 表 
函数 名 称 功 能 功能 
绘制 网 络 采 用 Bayesian 正则 化 算法 训练 时 绘制 自 组 织 映 射 网 络 图 
| 的 性 能 变化 曲线 绘制 起 自 原点 的 矢量 
二 二 绘制 单 输入 神经 元 的 误差 曲面 用 不 同 颜色 绘制 矢量 
在 单 输入 神经 元 的 误差 曲面 上 绘制 权 值 .二 


plotpy 根据 日 标 矢 量 绘制 感知 恬 的 输入 矢量 plotep 





值 和 相应 误差 点 的 位 置 


1. plotpcC 
应 用 : 分 界线 绘制 曾 数 。 
格式 : plotpc (W, b) 
plotpc (W，b, P) 
解析 : 该 函数 用 于 在 感知 器 天 量 几 中 绘制 分 界线 ， 其 参数 售 义 如 下 。 
W: 5$Xx 尺 维 的 加 权 和 矩阵 《及 必须 科 37); 
b: S$X1 维 的 较 信 回 量 ; 
h: 最 后 画 线 的 控制 权 ; 
plotpc (W, b): 返回 的 是 对 所 绘制 分 界线 的 控制 权 ， 
plotpc (W, b,h: 用 于 在 绘制 的 新 线 之 间 检 得 最 新 绘制 的 分 界线 。 
2，plotpv 
应 用 : 输入 /目标 同 量 绘制 函数 。 
格式 : plotpv (p, 
plotpv (Pp, 人 V) 
解析 : 该 函数 用 于 绘制 感知 器 的 输入 回 量 和 目标 风量 。 其 参数 含义 如 下 。 
b: (/) 组 开 维 的 输入 回 量 ; 
t: @ 组 9 维 的 双 目 标 癌 量 ; 
v=[x_min x_maxy_miny_max]: 图 形 的 最 大 值 ， 绘 制 工 作 必 须 位 于 v 所 限定 的 艺 转 内: 
plotpy (p,UD: 以 1 为 标尺 ， 绘 制 p 的 列 问 量 : 
plotpy (Pp,bv: 在 v 的 范围 中 绘制 p 的 列 回 量 。 
【 例 3-98】 本 例 主要 目的 在 于 演示 函数 plotpc 和 plotpy 的 应 用 。 
假定 已 给 出 了 某 感知 器 的 输入 变量 了 和 目标 变量 乡 绘制 其 曲线 ; 然后 给 定 感 知 器 的 权 但 
和 赋 值 ， 绘 制 其 分 界线 。 
MATLAB 代码 如 下 。 
p=[00113010; ee 
t=[000 1]; 四 人 
狗 绘 制 输入 风量 和 目标 回 量 
plotpv(p,b 
net=newp(Cminmax(p),1); 创建 一 人 感知 网 络 


龟 设 定 权 值 
net.iw{f1l,11=[-1.2 -0.$]; 


net.b{ = 上 |; 为 设 定 阔 值 
plotpc(net.iw{1l,1},netb{flih 
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运行 结果 如 图 3-36 所 示 。 


Wec 怕 中 过 世 e 忆 |SSified 


5 0 0.5 1 1.5 
己 ( 有 ) 


图 3-36” 冰 数 plotpc 和 plotpy 演示 运行 结果 


3. hintonw 
应 用 : 绘制 权 值 是 阵 的 Hinton 图 。 


格式 :hintonw (W, maxw, minw) 


解析 : hintonw 国 数 以 方块 图 的 形式 表示 权 值 和 下 陡 ， 图 中 各 方块 的 面积 正比 于 权 值 下 阵 中 
相应 元 素 的 大 小 ， 方 块 的 颜色 表示 芒 元 素 的 符 亏 。 其 中 ， 深 色 表 示 负 权 信 ， 浅 色 表 示 正 权 值 。 


该 函数 的 输入 为 权 值 定 阵 到 、 最 大 权 值 maxw 和 最 小 权 值 minw。 
【 例 3-99】 根据 下 面 的 权 值 和 是 阵 绘制 Hinton 图 。 
W=10.9031 -0.23495 0.0233 -0.0123; 
-0.3243 0.8903 -0.0348 -0.331 7 
0.96081 0.3964 -0.6321 0.8927] 
hintonw(YV ) 


运行 结果 如 图 3-37 所 示 。 


图 3-37” 权 值 的 Hinton 图 


4.， hintonwb 
应 用 : 绘制 权 值 年 阵 和 靖 伍 天 量 的 Hinton 多 。 


格式 : hintonwb (W, b, maxw, minw) 


权 值 矩阵 或 国 值 矢量 中 相应 元 素 的 大 小 ,方块 的 颜色 表示 该 元 素 的 人 符号， 其 中 ， 深 色 表 示人 负 但 ， 
浅 色 表示 正 值 。 访 函数 的 输入 为 权 值 年 阵 双 、 浆 值 矢 量 b、 最 大 权 便 maxw 和 最 小 权 值 minw。 


【 例 3-100】 根 据 下 面 的 权 值 矩阵 和 冰 值 矢量 绘制 Hinton 图 。 


W=[0.9031 -0.2343 0.0233 -0.0123; 
-0.3243 0.8903 -0.6348 -0.331 7: 
0.5081 0.3904 -0.6321 0.832 17]; 

b=[0.4$36;-0.6321;0.1234]: 

hintonwb(yW ,bb) 


运行 结果 如 图 3-38 所 示 。 


NMATLAB 神经 网 络 仿 真 与 应 用 


同 eUTOn 
卜 . 


于 让 下 直下 E 


岁 3-38 ” 权 值 和 国 值 的 Hinton 图 


5.， plotbr 

应 用 : 绘制 网 络 采 用 Bayesian 正则 化 算法 训练 时 的 性 能 变化 曲线 。 

格式 : pliotbr (TR, name, epoch) 

解析 : 汉 网 络 的 如 练 图 数 为 tainbr 时 ， 可 以 利用 plotbr 函数 绘制 训练 过 程 中 网 络 性 能 的 变 
化 曲线 ， 困 数 绘制 的 曲线 包括 网 络 输出 的 方差 和 、 各 权 值 参数 的 平方 和 ， 以 及 网 络 中 有 效 参数 
的 个 数 。 国 数 的 输入 TR 为 训练 函数 产生 的 训练 记录 ; name 为 训练 函数 名 称 ， 默 认 值 为 空 字 符 
中 ，epoch 为 要 显示 的 训练 次 数 ， 其 默认 值 为 训练 记录 的 长 度 。 

【 例 3-101】 利用 下 面 一 组 代码 省 示 plotbr 函数 记录 训练 过 程 曲 线 。 

MAILAB 代 但 如 下 。 

P=[-12:0. 人 机; 

t=sSin(2#3.14159*p)+0.13*xrandn(Size(P)); 

net=new 奉 ([-1 1],[20,1],ftanslig',purelin' ytrainbr 7); 

[net:trj=traimn(net,p,t; 

plotbr(tr); 

还 行 纺 未 如 图 3-39 所 示 。 
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狠 3-39 Bayesian 正则 化 训练 时 的 网 络 性 能 全 化 曲线 


6. pliotes 

应 用 : 用 于 绘制 - :个 单 输入 神经 元 的 误差 曲面 。 

格式 : plotes (wv, bv, es, V) 

解析 : plotes 图 数 可 用 来 绘制 单 输入 神经 元 的 误差 曲面 和 等 高 线 。wv 为 神经 元 可 能 的 权 值 
泥 围 天 量 ; by 为 神经 元 可 能 的 国 值 范围 矢量 ;es 是 由 errsurf 国 数 计算 出 的 误差 和 矩阵， 该 第 阵 
给 出 了 在 权 值 范围 天 量 和 浆 值 范围 天 量 各 组 合 点 上 上 的 神经 元 输出 误差 v 给 出 了 三 维 图 形 的 视 
扣 ， 款 认 仁 为 [-37.5, 30]。 
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示例 参看 例 3-83。 

7 plotep 

应 用 : 在 蛙 输 入 神经 元 的 误差 曲面 上 绘制 指定 权 值 、 几 值 及 相应 误差 点 的 位 置 。 

格式 : H=plotep (W, B, BEB) 

H=pljotep (W, B, E, HI) 

解析 : plotep 图 数 可 以 在 plotes 孙 数 所 绘 的 图 形 上 标识 出 指定 权 值 、 冰 值 和 相应 误差 点 的 
位 置 。 在 函数 的 输入 中 ，W 为 权 值 ，B 为 浆 值 ，E 为 误差 ，plotep 函数 将 在 等 高 线 图 上 绘 出 对 
应 于 W 和 8B 的 点 ， 在 误差 曲面 上 绘 出 对 应 于 卫 的 点 ， 同 时 国 数 返 回 的 句柄 了 保存 了 本 次 函数 
押 绘 各 点 的 信息 。 调 用 H=plotep (W, B, E, H) 利 用 上 次 调用 函数 时 返回 的 句柄 H， 在 绘制 新 点 前 
删除 旧 点 。 

示例 参看 例 3-83。 

8. plotperf 

应 用 : 绘制 网 络 训 纤 过 程 中 的 性 能 变化 曲线 。 

格式 : plotperf (TR, goal, name, epoch) 

解析 : plotperf 鸭 数 用 于 绘制 网 络 在 训练 时 的 性 能 变化 曲线 , 如 果 训 练 中 有 验证 步骤 和 测试 
步 又 ， 本 图 数 还 将 绘制 验证 性 能 和 测试 性 能 的 变化 曲线 。 函 数 的 输入 TR 为 训练 记录 ; goal 为 
网 络 性 能 目标 ， 和 认 信 为 NaN; name 为 训练 函数 的 名 称 ; epoch 为 要 显示 的 训练 次 数 ， 其 默认 
值 为 训练 记录 的 长 度 。 

【 例 3-102】 有 一 个 输入 天 量 忆 和 目标 矢量 了， 分 别 有 8 个 回 量 。 由 此 导出 一 组 确认 样本 如 下 。 

尼 二 上 。， 

工 =Sin(P); 

VY.P=P: 

VVY.T=T+rand(1.8)*O.1 ; 

创建 -个 BP 网 络 ， 并 进行 训练 ， 找 出 已 和 了 之 间 的 非 线性 关系 ， 并 利用 确认 样本 对 网 络 

net=newftft(minmax(P),[4 1j,{ftanslg ,tanslg ]); 

[net:trl=train(net, 了 , 工 , 赂 ,由 ,VYV): 

Plotperf(tr); 

网 络 的 训练 诈 差 曲线 如 狗 3-40 所 示 ， 训 练 结果 为 


TRAINLM, Epoch U100, MoSE 1.32542/0, Gradient 4.6110171e-010 
TRAINLM, Epoch 14/100, ME 0.374389/0, Gradient 0.00939335/]e-010 
TRAINLM, Validation stop. 


Perfiornance 1S 0 32374589 
1 


-1 


10 


门 己 10 
14 Epochs 
图 3-40 ”网 络 的 训练 误差 曲线 
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号， 人 
应 用 : 绘制 目 组 织 了 映射 网 络 图 。 
格式 : EN (pos) 
plotsom (W, D, nd 
解析 : plotsom 函数 用 于 绘制 目 组 织 映 射 网 络 图 。 在 函数 调用 plotsom (pos) 中 ，pos 是 网 络 
中 各 神经 元 在 物理 空间 分 布 的 位 置 坐 标 窍 阵 ， 轴 数 返 回 神 经 元 物理 分 布 的 拓扑 图 ， 图 中 每 两 个 
间距 小 于 工 的 神经 元 以 直线 连接 。 在 图 数 调用 plotsom (W, D, nd 中，W 为 神经 元 权 值 矩阵 ，D 
为 根据 神经 元 位 置 坐 标 计 算出 来 的 间距 和 矩阵 ，nd 为 领域 半径 ， 默 认 值 为 1， 函数 返回 神经 元 权 
值 的 分 布 图 ， 图 中 每 两 个 间距 小 于 nd 的 神经 元 以 直线 连接 。 
【 例 3-103】 构 造 一 个 2 输入 8 神经 元 的 自 组 织 轴 射 网 络 层 ， 网 络 的 拓扑 结构 为 长 方形 ， 神 
经 元 间距 采用 linkdist 计算 方法 并 随机 产生 权 值 矩 阵 本 。 
MAILAB 代码 如 下 。 
pos=gridtop(2. 4 本 8 
_W=rand(8， 2 四 


“和 各 和夫 结 格 和 人 和 
:Subplot(1， 2,1) 


plotsompes; 
D=linkdisttpos)， 


Subplot(1.2.2) 





_pblotsomCW:.D) 
运行 结 来 如 图 3-41 所 示 。 
Neuron Positions Weight Vectors 
人 
& 1 
0 0.5 0.2 0.4 0.6 0.8 
position(1,i) WE) 
(a) 神经 元 拓扑 结构 图 (b) 权 值 矢 基 
图 3-41 目 组 织 映 射 网 络 中 的 神经 元 拓扑 结构 图 和 权 值 天 量 
10.，plotv 


应 用 : 绘制 起 目 原 点 的 矢量 。 

格式 : plotv (M, 

解析 : plotv 函数 用 于 绘制 天 量 图 ,函数 的 输入 M 为 天 量 和 矩阵 ; t 指定 绘 图 时 和 天 量 线 的 形状 ， 
默认 值 为 -; 困 数 将 绘制 M 中 的 每 一 个 列 天 量 。 

【 例 3-104】 绘制 下 面 的 天 量 。 

w=[-0.4 0.7;-0.3 0.2]; 


plotv(w,ro ) 


运行 结果 如 图 3-42 所 示 。 
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0U.OD 


间 5- 0 0.5 1 
图 3-42 ”矢量 图 

11. plotvec 

应 用 : 用 不 同 硕 色 绘制 天 量 。 

格式 : plotvec (X, C, rm 

解析 : plotvec 图 效 利用 不 同 颜色 绘制 矢量 。 函 数 的 输入 X 为 矢量 矩阵 ，C 是 表示 颜色 坐标 
的 行 矢量 ，m 指定 绘图 时 矢量 的 标识 符号 。 函 数 将 绘制 X 中 的 每 - -个 列 矢量 ， 每 个 矢量 的 颜色 
由 天 量 C 中 的 对 应 元 素 确 定 。 

【 例 3-105】 针 对 一 组 输入 向 量 ， 设 计 个 LVQ 神经 网 络 ， 经 过 训练 后 ， 能 对 给 定数 据 进 
行 模式 识 剂 。 

MATLAB 代码 如 下 。 

P=|-6-4-20001246:02-212-212-20]; 

C=[1112222111]; 

T 工 =ind2vec(C)， 

plotvec( 了 ,人 ,+b ); 

axls(|-066 -3 3])， 

net=newlvq(minmax( 了 ),25,[0.0 0.4]); 

net.trainParam.epochs=83; 





net=tratmnet, 了 PT); 
p=[0 1 0.2 90]; 
y=SIm(net,P); 
vc=vec2lind(y) 


运行 结果 如 图 3-43 和 图 3-44 所 示 。 
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色 3-43 竹 入 样本 数据 分 布 图 图 3-44 ”训练 误差 曲线 
在 命令 窗口 中 得 人 旬 下 面 的 结束 。 
用 TRAINR 作为 恕 练 函 数 ， 最 大 训练 次 数 为 85 次 
RAINR, Epoch W/84 
TRAINR, Epoch 13/85 
工 RAINR, Pertormance goal Imet. 
% 对 给 定数 据 ， 一 个 归于 第 2 类， 一 个 归于 第 1 类 
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3.15 ”数据 预 处 理 和 后 处 理 函 数 
数据 预 处 理 和 后 处 理 函 数 如 表 3-1S 所 示 。 


芳 数 名 称 
PreImIX 
PostmnmX 
Prestd 
Poststd 
Postreg 
Prepca 
trapca 
trastd 


tramnniXx 


表 3-15 ”数据 预 处理 和 后 处 理 函 数 


功 能 
把 数 所 归 一 化 到 -1 一 1 之 间 
恢复 被 秀 数 premnmx 归 一 化 的 数据 
把 数 扫 归 一 化 为 单位 方差 和 零 均 值 
恢复 被 琐 数 prestd 归 一 化 的 数据 
利用 线性 回归 分 析 对 神经 网 络 的 仿真 结果 进行 后 处 理 
对 和 输入 数据 进行 主 元 分 析 
利用 预先 计算 的 主 元 分 析 矩 阵 对 数 换 进行 变换 
利用 预先 计算 的 均值 和 方差 对 数据 进行 变换 
利用 预先 计算 的 最 大 值 和 最 小 值 对 数据 进行 变换 


1，premnmx 
应 用 : 把 数据 归 一 化 到 -1 一 1 之 间 。 


格 却 : [Pn, mninp, maxp, Tn, mint maxtl=premnrmx (了 , T) 


[Pn, minp, maxp|j=premnmx (上 ) 


解析 : premnmx 函数 用 于 对 网 络 的 输入 数据 或 目标 数据 进行 轨 一 化 ， 归 一 化 后 的 数据 将 分 


布 在 [-1， 了 区 则 内 。 归 一 化 表达 去 为 


其 中 ，P 为 原始 输入 数据 ，maxp 和 minp 分 别 是 P 中 的 最 大 值 和 最 小 什 ，Pn 为 妇 一 化 后 的 输入 
据 。 了 T 是 原始 目标 数据 ，maxt 和 mint 分 别 是 T 中 的 最 大 值 和 最 小 值 ，Tn 是 归 一 化 后 的 月 标 


员 数 调用 [Pn, minp, maxp，Tn, minb maxtl=pPremnmx (PP 人 可 以 把 网 络 输入 数据 了 P 和 目标 数 
据 工 归 一 化 为 Pp 和 Tn， 同 时 返回 P 中 的 最 小 值 minp 和 最 大 值 maxgp， 以 及 工 中 的 最 小 值 mint 
和 最 大 值 maxt。 也 可 以 调用 [Pn, minp, maxp]=premnmx (P) 形 式 只 对 输入 数据 了 P 进行 归 - -化 。 


Pn=2*x(P-minpXmnaxp-minp) 一 ] 
TIn=2x ( 工 -mnt)(Omnaxt-mlint) 一 | 


2 postmnmx 


应 用 : 
恪 元 : 


解析 : 


其 中 ，P 为 原始 数据 ，maxp 和 minp 分 别 是 P 中 的 最 大 值 和 最 小 但。Pn 为 归 一 化 后 的 数据 。 


癌 理 


恢复 被 责 数 premnmx 归 一 化 的 数据 。 
[P, 了 =postmnmx (Pn, minp, maxp，Ln, mint, maxb 
[了 P]= postmnmx (Pn, minp, maxp) 


该 函数 用 于 恢复 被 函数 premnmx 归 一 化 的 数据 ， 变 换 表 达 为 


P=0.9*x(Pn+]l)*(maxp-Iinp)+minp 


T=0.$*(Tn+l)*(maxt-mlint)+mnt 
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鸭 效 博 用 [P T]=postmnmx (Pn, minp, maxp, Tn, mint, maxb) 可 以 在 已 知 P 中 的 最 小 值 minp 和 
最 大 值 maxp 及 工 中 的 最 小 值 mint 和 最 大 值 maxt 的 前 提 下 , 把 归 一 化 的 网 络 输入 数据 Pn 和 日 
怀 数据 Tn 恢复 为 忌 始 数据 P 和 T。 也 可 以 利用 函数 [P]= postmnmx (Pn, minp, maxp) 形 式 只 恢复 
归 一 化 输入 数据 P。 
【 例 3-106】 把 下 列 数据 归 一 化 到 [-1， 了 HH 区 间 ， 并 恢复 其 原始 数据 。 
P=[|-9 -6 -4.3 -1.3 0]: 
T=[08.8 -11 -10 2]: 
多 首先 对 数据 进行 归 一 化 
[Pn,minp,maxp,Tnmintmaxtl]=preImnmx(P,T) 
1 攻 一 
-1.000U0 -0.3333 0 0.06007 1.0000 
miInp = 
- 忆 
maxp 三 
0 
Tn = 加 
0.1111 1.0000 -1.0000 -0.8990 ”0.3131 
miint 一 
-]] 
IaXxXt 三 
8.8000 
多 恢复 怕 始 数据 
[P, 工 =postmnmx(Pn,mtimp,maxp,TIn,mlint,maxt) 
已 二 
-9.0000 “” -6.0000 -4.5000 -1.5000 0 
站 上限 一 
0 8.8000 -11.0000 -10.0000 2.0000 


3，prestd 
应 用 : 把 数据 归 一 化 为 单位 方 送 和 和 零 均 但 。 
格式 : [Pn, meanp, stdp, Tn, meant, stdt]=prestd (了 T) 
[Pn, mmeanp, stdpj=prestd (了 P) 
解析 :， prestd 函数 用 于 对 网 络 的 输入 数据 或 目标 数据 进行 归 一 化 ， 归 一 化 后 的 数据 将 共有 
去 均值 和 单位 方差 。 归 一 化 表达 为 
Pn=( 了 -meanp)/stdp 
其 中 ，P 和 Pn 分 别 为 归 一 化 前 、 后 的 输入 数据 ，meanp 和 stdp 分 别 为 刀 数 据 P 的 均 便 和 方 
苦 。 同 理 
Tn=(I-meant)y/stdt 
其 中 , 了 和 Tn 分 别 是 归 一 化 前 、 后 的 目标 数据 ，meant 是 原始 数据 工 的 均值 ，stdt 十 其 方 拓 。 
函数 调用 {[Pn, meanp, stdp, Tn, meant, stdtl=prestd (PT 可 以 把 网 络 的 输入 数据 P 和 目标 数据 
T 归 一 化 为 PPn 和 Tn， 同 时 返回 了 的 均值 meanp 和 方差 stdp 及 工 的 均值 meant 和 方差 stdt。 也 
可 以 调用 [Pn, meanp, stdp]=prestd (PD) 只 对 输入 数据 了 P 进行 归 一 化 。 
4. poststqa 
应 用 : 恢复 被 汪 数 prestd 归 一 化 的 数据 。 


和 2 
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格式 : [P TI]=poststd (Pn, meanp, stdp, Tn, meant, stdb) 
[Pj=poststd (Pn, meanp, stdp) 
解析 : poststd 函数 用 于 恢复 祝 了 因数 prestd 归 一 化 的 函数 ， 八 换 表 达 为 
P=bPnx*xstdp+meanp 


其 中 ，P 和 Pn 分 曾 为 归 : 一 化 前 、 后 的 数据 ，meanp 和 stdp 分 别 为 原始 数据 P 的 均值 和 方差 。 
辣 理 
工 =JnxstdtHmeant 
男 数 调用 [P TI=poststd (Pn, meanp, stdp, Tn, meant std0 可 以 把 归 一 化 数据 Pn 和 Tn 恢复 为 
原始 数据 P 和 T 工 ， 同 时 需要 已 知 P 的 均值 meanp 和 方差 stdp 及 工 的 均值 meant 和 方 兰 stdt。 也 
可 以 调用 [P]=poststd (Pn, meanp, stdp) 只 恢复 归 一 化 输入 数据 P。 
【 例 3-107】 把 下 列 数据 归 一 化 为 具有 零 均 值 和 单位 方 兰 的 数据 序列 并 恢复 其 原始 数据 。 
P=[-9 -6 -4.9 -1.3 0]; 
T=[08.8 -11 -10 2]; 
多 表 先 对 数据 进行 归 一 化 
[Pn,meanp,stdp,In,meant,stdt]=prestdP, 了 ) 
-1.3403 “-0.5026 -0.0838 ”0.7539 ”11728 
meanp = 旺 
-4.2000 
stdp = 
3.3812 
0.2431 ”1.2919 -10678 -0.9486 ”0.4815 
meant = 四 人 
-2.0400 
stdt 三 
8.3909 
%% 恢 复 忌 始 数据 
[了 , 工 =poststdUPn,meanp,stdp,Tn:meant,stdt) 
PP 一 
-9.0000 “ -6.0000 -4.$000 -1.5000 0 
0 8.8000 -11.0000 -10.0UU0 2.0000 
5 postreg 
应 用 : 利用 线性 回归 分 析 对 神经 网 络 的 仿真 结 未 进行 后 处 理 。 
格式 : [M, B, R]=postreg (A, T) 
解析 :， 该 函数 对 网 络 的 仿真 输出 和 目标 矢量 进行 线性 回归 分 析 ， 并 得 到 目标 天 量 对 网 络 输 
出 的 相关 系数 ， 从 而 可 以 作为 检验 网 络 性 能 的 参数 。 
吸 数 的 输入 分 别 为 网 络 输出 矢量 A 和 目标 矢量 T， 函 数 返 回 线性 拟 合 直线 的 斜率 为 M， 和 鹤 
下 系 数 为 B， 输 出 矢量 A 和 上 且 标 矢量 工 之 间 的 相关 系数 为 R。 当 及 为 1 时 ， 薄 出 和 有 目标 天 量 忆 
问 的 相关 性 最 好 。 
【 例 3-108】 利 用 级 联 前 向 网 络 对 下 列 样 本 数据 进行 学 习 ， 并 对 网 络 的 实际 输出 天 量 和 目标 
天 量 进行 线性 回归 分 析 。 
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MATLAB 代码 如 下 。 


P=10.596 -0.78 -0.93 0.74 0.31 ]; 
net=new 女 (minmax(P),[S 1,{ftanslig purelin trainlm 
T=[-0.03 3.5 -0.9 0.65 3.01: 

net=traln(net 忆 , 工 ); 

A=Slm(net, 了 ); 


运行 结果 如 图 3-45 所 示 。 


Best Linear 上 Fit 和 = (1)T+ (5.628-17) 
妖 


“7 了 Data Points 
Best Linear Flt 
全 全 全 7 息 一 工 





图 3-4$ ”线性 回归 分 析 结 果 


6.，prepca 

应 用 : 对 输入 数据 进行 主 元 分 析 。 

格式 : [Ptrans, TransMat]=prepca (P, min_frac) 

解析 : prepca 函数 用 来 对 得 入 数据 矩阵 P 进行 主 元 分 析 变 换 ， 访 变换 可 以 消除 各 输入 天 量 
闻 的 相关 性 。 在 变换 后 的 矩阵 中 ， 部 分 矢量 占用 诛 始 数据 矩阵 的 大 部 分 能 量 ， 保 存 了 斩 始 数 折 
的 大 部 分 信息 ， 因 此 变换 后 应 予以 保留 ， 而 有 些 和 拓 量 只 占有 怕 始 数据 的 小 部 分 能 量 ， 因 此 可 以 
在 变换 后 举 辐 。 

函数 的 输入 了 P 为 原始 数据 矩阵 ;min_frac 为 最 小 能 量 比 例 系 数 ， 当 变换 后 矩阵 中 共 一 天 量 
的 能 量 在 原始 数据 总 能 量 中 所 占 的 比例 小 于 该 系数 时 ， 这 一 矢量 将 航 省 略 。 函 数 妈 回 经 过 主 元 
分 析 的 矩阵 Ptrans 和 变换 时 使 用 的 窍 阵 TransMat。 在 该 图 数 算 法 中 都 假定 怕 始 数据 具有 零 均值 ， 
因此 要 首先 利用 冰 数 prestd 对 数据 进行 归 一 化 。 

【 例 3-109】 对 以 下 数据 进行 主 元 分 析 。 

p=[-1.5 -0.58 0.21 -0.96;-2.2-0.870 34 - 1.4;-2.5 -0.38 0 44 -1 0 本 

pn=Pprestd(p); 4 ss 

[UPtrans， oo 0. oD 
2.0218 -0.4191 -2 0912 1 
-0.1787 0.1927 -0.1740 0.1601 
TransMat= 人 

-0.5797 -0.3791 -05732 
-0.3770 -0.4330 0.8187 


7. trastd 
应 用 : 利用 预先 计算 的 均值 和 方差 对 数据 进行 变换 。 
格式 : [Pn]=trastd (P meanp, stdp) 


解析 :本 函数 利用 prestd 函数 对 样本 数据 进行 归 一 化 时 得 到 的 均值 和 方才 对 新 的 输入 数据 四 


和 


oa 二 
0 


和 
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进行 变换 。 表 达 陈 为 
P=Pnx#stdp+meanp 


上 陈 中 的 P 和 Pn 分 别 为 变换 前 、 后 的 输入 数据 ，meanp 和 stdp 分 别 为 prestd 函数 找到 的 均值 
和 方 震 。 如 朱 网 络 训 练 时 所 用 的 是 归 一 化 样本 数据 ， 那 么 以 后 使 用 网 络 时 所 用 的 新 输入 数据 也 
应 访 和 样本 数据 一 样 接受 相同 的 预 处 理 ， 这 时 就 要 用 到 trastd 函数 。 

【 例 3-110】 利 用 级 联 前 回 网 络 对 下 列 归 一 化 样本 数据 进行 学 习 , 并 用 新 的 输入 数据 检验 网 络 。 

P=|-1.92 2.37 -1.48 0.86 3.12]; 

【=|[-0.39 3.06 -0.93 0.73 3.2]， 

[Pn,minp,maxp,Tn,minbmaxt]=prestd(P,T): 

net=newft(minmax(P),[9 1,{ftanslig purelin } trainlmy; 

net=tralnnet.Pn,TIn): 

P2=|[2 -2];， 

P2n=trastd(P2,minp,maxp); 

A2n=sim(net:P2n); 人 

A2=poststd(A2nmlIntmaxt) 


运行 结果 为 
A2 = 


3.5470 。” -0.2676 
训练 过 程 如 图 3-46 所 示 。 


Performance 褒 5.28167e031 Goal is 0 
10 


TiaInngBiue 


作 G 日 1 


OO 2 
11 Epochs 
图 3-46 ”训练 过 程 


8.， trapca 

应 用 : 利用 预先 计算 的 主 元 分 析 窃 阵 对 数据 进行 变换 。 

格式 : [Ptrans]=trapca (P, TransMat 

解析 : 本 函数 利用 prepca 国 数 对 样本 数据 进行 主 元 分 析 时 得 到 的 变换 算 阵 TransMat 对 新 
的 输入 数据 P 进行 变换 。 如 果 网 络 训练 时 所 用 的 是 经 过 主 元 分 析 的 样本 数据 ， 那 么 以 后 使 用 网 
络 时 所 用 的 新 输入 数据 也 应 该 和 样本 数据 一 样 接受 相同 的 预 处 理 ， 这 时 融 要 用 到 trapca 函数 。 

【 例 3-111】 利 用 级 联 前 同 网 络 对 下 列 经 过 主 元 分 析 的 样本 数据 进行 学习 ， 并 用 新 的 得 入 数 
据 检 验 网 络 。 

P=[-1.3 -0.58 0.21 -0.96 2.29;-2.2 -0.87 0.34 - 1.4 人 

T=[-0.39 3.6-0.95 0.75 3.2]， 三 

[Pn,meanp,stdp,Tosrmmeant atlzpresta 丰 ) 

[ptrans,transMatl]=prepca(Pn,0. U2 ); 

net=newff(minmax(ptrans),[S$ 1],ftansig' }, trainlm ); 

net=tralintnebptrans,TD); 

P2=12.3 -1.8;-0.9 -2]; 

P2n=trastd(P2,meanp,stdp); 
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P2trans=trapca(bP2n:transMiat); 
A2n=slim(netbP2trans)， 
A2=poststd(A2n,meant,stdb 
运行 结 委 为 
A2 二 

2.0182 -0.6343? 


9. tramnmrmnx 

应 用 : 利用 预先 计算 的 最 大 值 和 最 小 值 对 数据 进行 变换 。 

格式 : [Pnl=tramnmx (PP minp, maxp) 

解析 : 本 函数 利用 premnmx 函数 对 样本 数据 进行 归 -化 时 得 到 的 最 小 仁和 了 节 大 但 对 新 的 答 
入 数据 进行 变换 。 表 达 坪 为 

Pn=2* (P-mIinp)COnaxp-mlnp) 盖 1 

大 值 和 最 小 值 。 如 果 网 络 训练 时 所 用 的 是 归 一 化 样本 数据 ， 那 么 以 后 使 用 网 络 时 所 用 的 新 输入 
数据 也 应 该 和 样本 数据 一 样 接受 相同 的 预 处 理 ， 这 时 就 要 用 到 tramnmx 困 效 。 

【 例 3-112】 利 用 级 联 前 向 网 络 对 下 列 归 一 化 样本 数据 进行 学 习 , 并 用 新 的 输入 数据 检验 网 络 。 

P=[-1.$ -0.$8 0.21 -0.90 2.29]; 

T=[-0.39 3.0 -0.93 0.753 3.2|]; 

[Pn,minp,maxp,In:mint,maxtl=premnInx( 上 ,1 

net=newff(tminmax(Pn),[S 1,ftansig Pureln } trainljm ); 

net=train(net,Pn,Tn)， 

P2=|2 -2]; 

P2n=tramnmx(P2,minp,maxPp); 

A2n=SslIm(net,P2n); 

A2=postmnmx(A2n,mint,maxt) 

运行 窗口 输出 结 末 为 

A2= 

1.2013 -0U.405 1] 
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这 一 草 肖 先 将 侨 细 介 绍 前 问 型 神经 网 络 。 前 向 型 神经 网 络 是 这 样 的 一 类 网 络 ， 它 在 计算 输 
出 全 的 过 程 中 ， 输 入 值 从 输入 层 单元 向 前 逐 层 传播 ， 经 过 隐藏 层 最 后 到 达 输 出 层 得 到 输出 。 前 
问 网 络 第 一 层 的 单元 与 第 二 层 所 有 的 单元 相连 ， 第 二 层 又 与 其 上 一 层 单元 相连 ， 同 一 层 中 的 各 
里 元 乙 间 羧 有 和 连接。 前 癌 网 络 中 神经 元 的 激发 函数 ， 可 采用 线性 硬 浆 值 函数 或 单元 上 升 的 非 线 


对 于 前 人 饥 网 络 ， 根 据 神 经 元 的 传递 数 不 同 ， 以 及 学 习 算 法 和 网 络 结构 上 的 区 别 ， 可 以 
分 闫 感知 器 网 络 、 线 性 网 络 、BP 网 络 、 径 向 基 网 络 及 GMDH 网 络 等 不 同 的 网 络 模型 。 本 音 将 
针对 以 上 网 络 区 型 ， 对 其 理论 基础 、 训 练 算 法 进行 简单 说 明 ， 并 重点 介绍 如 何 利用 MATLAB 
R2007 昼 经 网 络 工 具 箱 实现 这 些 网 络 。 


感知 属 


感知 准 模 型 是 由 美国 学 者 ERosenblatt 于 195S8 年 提出 的 。 它 与 MP 模型 的 不 同 之 处 是 它 假 
定神 经 元 的 突 扰 权 值 是 可 变 的 ， 这 样 就 可 以 进行 学 习 。 感 知 器 模型 在 神经 网 络 研究 中 着 重要 的 
意义 和 地 位 ， 因 为 感知 器 模型 包含 了 自 组 织 、 自 学 习 的 思想 。 


4.1.1 ” 单 层 感知 疮 模型 


中. 








图 4-1 单 层 感知 器 模型 
单 层 感知 器 模型 如 岁 4-1 所 示 ， 它 包括 一 个 线性 的 累加 器 和 一 个 二 值 阀 值 元 件 ， 同 时 还 有 
一 修 外 部 偶 兰 。 线 性 累加 器 的 输出 作为 二 值 阔 值 元 件 的 输入 ， 这 样 当 二 值 阔 值 元 件 的 输入 是 
正 数 时 ， 神 经 元 隋 产 生 输 出 +1， 反 之 ， 若 其 输入 是 负数 ， 则 产生 输出 -1。 即 


和 
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使 用 单 层 悦 知 万 的 目的 束 是 让 其 对 外 部 输入 2 着 …2 进 行 识 别 分 类 ， 单 层 感知 器 可 将 


外 部 和 输入 分 为 两 关 : 二 和 六 。 当 感知 器 的 输出 为 +1 时 ， 我 们 认为 输入 姜 , 半 2，… 克 属于 /类 ， 
感知 烧 的 得 出 为 -1 时 ， 认 为 输入 嫩 : 和 2Xn 属于 岂 类 ， 从 而 实现 两 类 目标 的 识别 。 在 严 维 


依 号 空间 ， 单 层 感 知 进 行 模式 识别 的 判决 超 平面 由 下 式 决 定 


wx 十 户 = 避 


吕 - 


(4-3 ) 


j=| 


和 4-2 给 出 了 一 种 只 有 两 个 输 入 为 和 入 的 判决 超 平面 的 情况 ， 它 的 判决 边界 是 直线 : 


Wi 十 WOX 十 D=0。 





I 和 十 WA 十 六 =0 


图 4-2 ”两 类 模 陈 识别 的 判定 问题 
决定 判决 边界 是 直线 的 主要 参数 是 ww 和 也 ， 通 过 合适 的 学 习 算法 可 训练 出 满意 的 w 和 由 。 


4.1.2” 单 层 感知 器 的 学 习 算 法 
单 层 感知 器 对 权 值 向 量 的 学 习 算 法 基于 友 代 的 思想 ， 通 常 是 采用 纠 错 学 习 规 则 的 学 习 算 法 。 
为 方便 起 见 ， 将 偏差 玉 作 为 神经 元 突 触 权 值 向 量 的 第 一 个 分 量 加 到 权 值 向 量 中 去 ， 那 么 对 

应 的 输入 向 量 也 应 增加 一 项 ， 可 设 输入 向 量 的 第 一 个 分 量 固定 为 +1， 这 样 输 入 向 量 和 权 值 向 量 

可 分 别 写 成 如 下 的 形式 

下 (1) = [+1,x (0 (DCD] (4-4 

了 厂 (00 =[b0D,w OnD wo (Dr (CD] (4-5 ) 


其 中 ， 变 量 半 表示 友人 代 次 数 ，200) 可 用 WU 表示， 则 二 值 阅 值 元 件 的 输入 可 重新 写 为 
= >》Wwi(ODxri (DOD)= 研 (人 下 (7) (4-6) 
一 0 
令 式 〈4-6) 等 于 零 ， 即 研 下 =0， 可 得 在 闫 维 信号 空间 的 单 层 感知 器 的 判决 超 平面 。 
尝 习 算法 如 下 。 
(1) 设 首 变 量 和 参量 。 
天 (四 三 [HL (OO (0 (0 ， 为 输入 同 量 ， 或 称 训练 样本 。 


厂 (=[50D,w (CD, (00,Ww， (CO ， 为 权 值 向 量 。 
式 中 ，&m 为 偏差 ， 兴 万 为 实际 输出 ，dado) 为 期 望 输出 ，77 为 学 习 速 率 ， 半 为 友 代 次 数 。 
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(2) 初始 化 ， 赋 给 Wi (0) 一 个 较 小 的 随机 非 零 值 ， 柬 =0 。 

(3) 对 于 一 组 输入 样本 下 (m) =[+l5 (00D……x (OO ， 指 定 它 的 期 望 输出 Q& 《〈 亦 称 之 
为 导师 信号 )。 如 果 在 E0 则 CQ =1， 如 果 下 <E 刀 则 w=-1。 

(4) 计算 实际 输出 。 


y( 站 =Sgn(WW (0) 天 (站 ) (4-7) 


(5) 调整 感知 器 的 权 值 向 量 。 
寿 ( 人 (+ 有三 则 (十 11[LCCN 一 CR 和 (mA) (4-8 ) 
(6) 判断 是 否 满足 条 件 : 若 满足 ， 算 法 结束 ; 若 不 满足 ， 将 峰值 增加 1， 转 到 第 3 步 重新 专 行 


ER。 pq 。 Eee 。 Eee。 -Eee 。 em 。 Eee 。 em。 meiek -im siniill -iiir -ii 


以 上 学 习 算 法 的 第 6 步 需 要 判断 是 否 满足 条 件 ,， 这 里 的 条 件 可 以 是 : 误差 小 于 设 定 的 值 E， 
即 l@g(a) 一 yCa|< 2; 或 者 是 权 值 的 变化 已 很 小 即 |w(m+ 了 一 WO| < 已 。 另 外， 在 实现 过 程 
中 还 应 设 定 最 大 的 选 代 次 数 ， 以 防止 算法 不 收 北 时 ， 程 序 进入 死 循 环 。 


下 


在 感知 器 学 习 算 法 中 ， 重 要 的 是 引入 了 一 个 量化 的 期 望 输出 402) ， 其 定义 为 
+1 如 未 下 (7) 属 本 

d(n) = 
四 抽 如 打下 (2) 属 于 


这 样 就 可 以 采用 纠 铬 学 习 规 则 对 权 值 癌 量 进行 逐步 修正 。 

对 于 线性 可 分 的 两 类 模式 ， 可 以 证 明 单 层 感 知 器 的 学 习 算 法 是 收敛 的 ， 即 通过 学 习 调 整 突 
触 权 值 可 以 得 到 合适 的 判决 边界 ， 正 确 区 分 两 烽 模 式 ， 如 图 4-3(a) 所 未 。 而 对 于 线性 不 可 分 的 
两 类 模式 ， 如 图 4-3(b) 所 示 ， 无 法 用 一 条 直线 区 分 两 类 模式 。 因 而 单 层 感 知 器 的 学 习 算 法 是 不 
收敛 的 ， 即 单 层 感知 器 无 法 正确 区 分 线性 不 可 分 的 两 类 模 陈 。 


州 决 迫 疗 


了 
上 f 
m 
本 
号 
上 
此 
上 
中 
和 
m 
中 
mm 
喇 
要 
呈 
本 
权 
此 
是 
课 
并 





人) 
图 4-3 ”线性 可 分 与 不 可 分 的 问题 
【 例 4-1】 试 用 单个 感知 器 神经 元 完成 下 列 分 类 ， 写 出 其 训练 的 和 欠 代 过 程 ， 画 出 最 终 的 分 奖 
不 音 图 。 


生生 


根据 题 意 ， 神 经 元 有 两 个 输入 量 ， 传 输 函 数 为 交 值 型 函数 。 于 是 以 图 4-4 所 示 的 感知 贷 促 
经 元 完成 分 类。 


sn 
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儿 4-4 例 4-1 中 的 感知 器 神经 元 


(1) 初始 化 : 研 (0)=[0 0]，P(0) =0 
(2) 第 一 次 欠 代 。 


a= (OOD=JIY(OD)P +bO]= 必 中 + ) = J(OD)=1 


e 三 一 4=0 一 = 一 ] 


因为 输出 4 不 等 于 目标 值 二 ， 故 需要 调整 权 值 和 效 值 。 
(3) 般 一 次 克 代 。 以 第 二 个 输入 样本 作为 输入 癌 量 ， 以 调整 后 的 权 值 和 阔 值 进行 计算 。 


4=jU)= ji UP +2O]= /| 四国 二 二 /| 
ee 王妃 一 4 = 一 = 


因为 输出 4 等 于 目标 值 恕 ， 所 以 无 须 调整 权 值 和 靖 值 。 
厂 (2)= 环 (=[-2 -2] 
52)=5D=-1 


(4) 甬 三 居多 代 ， 以 第 三 个 输入 样本 作为 输入 同 量 ， 以 环 (2) 、P(2) 进行 计算 。 


一 
a=j0D)=FIWY(C)P +p2)]= 人 2 - 相 ) | 加 = FCD=0 


e 一 刀 一 =0-0=0 
因为 输出 4 等 于 目标 值 3 ， 所 以 无 须 调 整 权 值 和 值 。 


多 (3)= 几 (2)=[-2 -2j 
D(3)=pD(2)= 一 ] 


(5)》 第 四 次 和 迭代。 以 第 四 个 输入 样本 作为 输入 向 量 ， 以 义 G3) 、2(3) 进行 计算 。 
a=J(OD=JIYG)P +bG3)]= 全 2 一 四 + = 0OD)=1 


e 一 刀 一 和 = 一 =O 


因为 竹 出 4 等 于 上 月 标 值 和 ， 所 以 无 须 调 整 权 值 和 值 。 
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峡 (4)= 卫 (3)=[-2 一 2] 
p(4)=PD(3) = 三 一 ] 
(6) 以 后 各 次 迭代 又 从 第 一 个 输入 样本 开始 ， 作 为 输入 向 量 ， 以 前 一 次 的 权 值 和 阔 值 进行 
计算 ， 直 到 调整 后 的 权 值 和 阔 值 对 所 有 的 输入 样本 其 输出 的 误差 均 为 零 为 止 。 例 如 进行 第 五 次 
迭代。 


到 
4a=jOO= /4)P +204j= 全 < 一 国耻 cn =Jj 轨 = 
ee 三 大 一 4=0-0=0 


因为 输出 & 等 于 目标 值 如 ， 所 以 无 顷 调整 权 信和 国信。 


了 (9)= 儿 (4)=[--2 一 2| 
p(3)=pD(L4) = 一 | 
可 以 看 出 矿 =[2 -2]， 廊 = -1 对 所 有 的 输入 样本 ， 其 输出 误差 均 为 零 ， 所 以 为 最 终 调整 
后 的 权 值 和 阔 值 。 
(7) 因为 迪 0 时 ，a=1; mn 和 0 时 ，a=0,， 所 以 以 上 = 0 作为 边界 。 于 是 可 以 根据 训练 后 的 
结果 画 出 分 类 示意 图 ， 如 图 4-5 所 示 。 
其 边界 由 下 列 直 线 方程 (边界 方程 ) 决定 。 


1 =Wp+b=[ 一 2 -2 |+CD=-2p -2p, -1 





图 4-5 例 4-1 分 类 示意 由 


4.1.3 感知 角 的 局 归 性 


感知 器 神经 网 络 的 局 限 性 在 于 

(1) 感知 器 神经 网 络 的 传输 函数 一 般 采 用 几 值 函数 , 所 以 输出 值 上 共有 两 种 (0 或 1, -1 或 1): 

(2) 单 层 感知 器 网 络 只 能 用 于 解决 线性 可 分 的 分 类 问题 ， 而 对 线性 不 可 分 的 分 类 问题 无 能 
为 力 ; 

(3) 感知 器 学 习 算 法 只 适 于 单 层 感知 器 网 络 ， 所 以 一 般 感知 器 网 络 都 是 单 技 的 。 


2 


人 中 
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4.1.4 单 层 感知 堆 神 经 网 络 的 MATLAB 仿真 


1， 感 知 器 神经 网 络 设 计 的 基本 方法 

单 层 感知 需 神 经 网 络 的 MAILAB 仿真 程序 设计 主要 包括 以 下 几 个 方面 。 

1 ) 以 newp 创 建司 知 器 神经 网 络 

利和 根 据 所 归 解 决 的 问题 ， 确 定 输入 回 量 的 取 值 范围 和 维 数 、 网 络 层 的 神经 元 数目 、 传 输 
卫 数 和 尝 习 国 数 等 ， 然 后 以 单 层 感知 器 神经 网 络 的 创建 凿 数 newp 创建 网 络 。 

2) 以 train 训练 创建 网 络 

爸 记 如 练 样 本 集 ， 确 定 每 个 样本 的 输入 回 量 和 日 标 向 量 ， 调 用 函数 train 对 网 络 进 行 训 
款 ， 并 根据 如 练 的 情况 决定 是 台 调 整训 练 参 数 ， 以 得 到 满足 误差 性 能 指标 的 神经 网 络 ， 然 后 进 
行 仔 伴 。 

3 ) 以 Sim 对 训练 后 的 网 络 进行 仿真 

构 迄 测试 样本 集 ， 加 载 恕 练 后 的 网 络 ， 调 用 图 数 sim， 以 测试 样本 集 进 行 仿真 ， 但 验 网 络 
的 性 能 。 

从 以 上 过 程 可 以 看 出 ， 妊 要 的 感知 郁 神 经 网 络 图 数 有 newp、train 和 sim， 除 此 之 外 还 
涉及 init、trainc、dotprod、netsum、mae、plotpc、plotpy 等 ， 这 些 函 数 的 详解 在 第 3 章 已 经 
介绍 过 。 

2， 丫 层 感 知 辫 神经 网 络 的 应 用 举例 

下 国 以 应 用 实例 说 明 单 层 感 知 邵 神经 网 络 的 MATLAB 仿真 程序 设计 。 程 序 中 涉及 的 其 他 
MATLAEB 函数 与 命令 ， 读 者 可 自行 参考 第 3 章 的 内 容 。 

【 例 4-2】 给 定 样本 输入 回 量 尼 、 日 标 问 量 了 及 需 归 进行 分 类 的 输入 问 晤 组 @， 设 计 一 个 单 
层 感 知 囊 ， 对 其 进行 分 类 。 

MAILAB 代 但 如下。 

PF=[-0.6 -0.7 0.8:0.9 0 1 

=|1 1 0]: 

net=newpP(L-l1 1 -1 1 ,1l): 

% 返 回 画 线 的 句柄 ， 下 一 次 绘制 分 类 线 时 将 只 的 删除 

he=plotpc(Onet.1w1{1Tl ,net.b{1l 

免 议 置 训练 次 数 最 大 为 15 

net.tralnParam.epochs=139; 

net=traln(net, 上 ,|); 

%% 给 定 的 输入 回 草 

Q=[0.3 0.8 -0.2;-0.2 -0.6 0.0]; 

Y=SImnet,G); 

五 guUre; 

狗 绽 制 分 基线 

plotpv(Q,Y) 

he=plotpcCnetIw1{ 1j}:net.b{f] Re) 


运行 络 东 如 图 4-6 所 未 。 由 图 4-6 可 见 ， 设 计 的 感知 器 对 输入 模式 进行 了 成 功 的 分 类 。 
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Vectors to be Classified 


0.5 下 
0 
关 _ 
-0.5 
-1 
.0.5 0 0 .5 1 


F (人 
色 4-6 得 入 回 量 及 分 类 线 
感知 紫 训 练 结 果 为 
RAINC, Epoch O/15 
TRAINC, Epoch 3/14 
TAINC, Performance goal met. 
he = 
]54.0012 
中 和 大， 经 过 3 钦 训练 后 ， 网 络 目标 误 差 达 到 要 求 ， 如 果 4-7 所 示 。 
下 给 出 ”个 线性 不 可 分 的 例子 。 给 定 ， -个 双 元 素 的 输入 向 量 组 忆 ， 每 列 都 由 $ 个 元 素 弓 
成 ， 开 给 定 -个 日 标 疝 量 了。 利用 以 下 代码 将 其 绘制 在 “个 平面 上 。 运 行 结果 如 图 4-8 所 示 ， 


Perforrance 1 站 司 Dal is 站 
| 


Training-Blue Goal-Black 
人 
《1 


Stop Trarmg ， 3 Epochs 
镜 4-7 感知 过 训练 过 程 
P=|[-0.2 -0.5 0.3 -0.1 -0.8;-0.5 0.5 -0.5 1 0]: 
=|11006 |: 
plotpv(P, 卫 ) 


有 忆 CtDFPS 已 训 们 司 SS 有 月 折 避 





有 | 了 四 汪 人 癌 站 吕 
F 1) 


针 4-8 从 本 点 的 分 布 及 相应 的 类 齐 
廊下 来 芝 试 设计 一 个 感知 莫 ， 该 感知 器 必须 对 输入 问 量 书 进 行 准确 的 分 类 。 利用 函数 newp 
创建 “个 感知 此 。 
net=newp([-33 1;-2 45],1): 
在 利用 感知 器 进行 分 类 之 前 ， 首 先 需要 对 感知 器 进行 初始 化 ， 将 其 权 值 设 定 为 0。 这 样 - 


感知 器 必须 经 过 训练 才能 应 用 ， 在 这 里 使 用 白 适 应 函数 adapt 对 其 进行 训练 。 自 适应 函数 


二 
和 
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的 循环 次 数 放 定 为 4 识 ， 经 过 24 次 迭代 后 ， 训 练 停 止 。 其 MATLAB 代码 如 下 。 


net.adaptParam.passes=4; 

linehandle=plotpcCnet.jiw{ 1 netLbf1l 中 7: 

for 3a=1:24 
[netY 了 =adaptCneb 了 了): 
linehandle=plotpcGnetw1{1 1 net. 人 1 nehandle); 
drawnow; 

endi; 


对 输入 样本 分 类 的 运行 结果 如 图 4-9 所 永 。 由 图 4-9 可 见 ， 对 于 这 种 线性 不 可 分 的 模式 ， 
利用 早 层 感知 敌 古 无 法 正确 分 头 的 。 
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FF) 


-1 -05 0 05 
PT 


图 4-9 ”线性 不 可 分 样本 的 分 类 结果 
【 例 4-3】 利 用 感知 髓 实现 三 输入 与 门 功能 。 三 输入 与 门 真 值 表 如 表 4-1 所 示 。 
表 4-1 三 输入 与 门 真 值 表 


心 
乙 | 己 | 己 | 尼 | 已 | 尼 | 


利用 感知 器 可 以 训练 一 个 三 输入 与 门 功能 。 在 这 里 使 用 两 种 方法 训练 神经 网 络 ，- 一 种 方法 
是 采用 全 样本 数据 训练 ， 而 检验 样本 为 输入 样本 增加 0.3 的 误 莽 ， 克 一 种 方法 是 采用 部 分 样本 
数据 训练 ， 剩 余 真 值 表 数 据 作 为 检验 样本 数据 。 
训练 方法 一 : 采用 全 样本 数据 ， 检 验 样 本 增加 0.3。 
儿 输 入 样本 数据 
P=If00001111:， 
00110011; 
010101041; 
% 输 入 训练 目标 样本 数据 ， 
_T=[00000001H]; 
% 构 建 单 神经 元 感知 器 网 络 
met=newp(frepmat([-1 2].3,1)].1D;， 
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哆 训 练 单 神经 元 感知 器 网 络 
上 = |] ; 
whalle (Sse(E)) 要 加 US 
[net Y :上 PiAft=adaptOnetP,T); 
end 
- 狗 训 练 样本 数据 增加 0.3 的 扰动 
PP=P+0.3; 
A=slm(net,p) 


答 出 结果 为 
斥 二 


0 0 0 0 0 0 0 1 


可 以 看 出 仿真 结 采 完全 正确 ， 训 练 好 的 单 神经 元 感知 器 网 络 对 和 输入 样本 数据 具有 一 定 的 抗 
扰动 能 力 ， 如 扫 执 动 过 大， 那么 感知 髓 网 络 将 人 带 有 较 大 的 误差 ， 如 扰动 增加 到 0.$ 时 ， 输 入 以 
下 程序 段 。 

PD=P+0.9; 

A=slimnet,p) 

和 一 


0 0 0 ] 0 ] ] 工 

从 络 未 中 可 以 看 出 ， 此 时 单 神经 元 感知 噩 训练 误差 比较 大 ， 有 三 组 样本 数据 输出 错误 。 所 
以 ， 从 衣 实 例 中 可 以 发 现 ， 神 经 网 络 上 共有 一 定 的 抗 于 扰 能 力 ， 但 扰动 过 大 时 ， 神 经 网 络 适 应 能 
力 将 下 降 。 

训练 方法 一 : 采用 部 分 样本 数据 作为 训练 样本 。 

%% 输 入 样本 数据 

P=I000111: 

011001; 
00011: 

% 输 入 训练 目标 样本 数据 

T=[000001]:， 

% 构 建 单 神经 元 感知 器 网 络 

net=newp([repmat([-1 21.3,1] ,1): 

多 训练 单 神经 元 感知 器 网 络 

下 二 

while (sse(E)) 

[net,Y 三 .Pf,Aftrl=adaptnet, 了 ,了 荆 ); 

end 

色 训练 样本 数据 增加 0.3 的 扰动 

p=[0 1;0 110]; 


A=simnet,p) 
训练 后 输出 结果 为 
入 二 

U ] 


从 结果 中 可 以 看 到 ， 训 练 后 的 单 神经 元 感知 器 网 络 对 第 2 组 检验 数据 输出 错误 。 从 这 个 实 
例 可 以 看 出 ， 当 利用 单 神经 元 感知 器 网 络 实现 逻辑 与 门 功能 时 ， 由 于 训练 样本 的 数据 空间 不 是 
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特别 大 ， 所 以 ， 应 该 采用 全 训练 样本 集 ， 以 确保 感知 器 网 络 的 正确 性 。 
4.1.5 多 层 感知 红 神 经 网 络 及 其 MATLAB 仿真 


1. 多 层 感 知 器 神经 网 络 的 设计 方法 

单 技 感知 厅 由 于 其 绪 构 和 学 习 规 则 上 的 局 限 性 ， 其 应 用 也 受到 一 定 的 限制 ， 即 它 只 能 对 线 
性 可 分 的 回 量 集合 进行 分 类 。 为 了 解决 线性 不 可 分 的 输入 向 量 的 分 类 问题 ， 可 以 增加 网 络 层 。 

由 于 感知 套 钊 经 网 络 学 习 规则 的 限制 ， 它 只 能 对 单 层 感知 器 神经 网 络 进行 训练 ， 那 么 ， 如 
何 进行 多 层 感 知 器 覃 经 网 络 的 设计 呢 ? 这 里 提供 了 - :种 二 层 感 知 器 神经 网 络 的 设计 方法 。 

(1) 把 神经 网 络 的 第 一 讨 设 计 为 随机 感知 器 层 ， 且 不 对 它 进 行 训练 ， 而 是 随机 初始 化 它 的 
权 值 和 浆 值 ， 当 它 接 收 各 输入 元 素 的 值 时 ， 其 输出 也 是 随机 的 。 但 其 权 值 和 闪 值 一 旦 国定 下 来 ， 
对 输入 回 量 模式 的 耿 射 也 随 之 确定 下 来 。 

(2) 以 第 一 层 的 输出 作为 第 二 感知 邵 层 的 输入 ， 并 对 应 输入 模式 ， 确 定 第 二 感知 器 层 的 月 
标 阿 量 ， 然 后 对 第 二 感知 奉 质 进行 训 练 。 

(3) 由 于 第 一 感知 做 讨 的 输出 是 随机 的 ， 所 以 在 训练 过 程 中 ， 整 个 网 络 可 能 达到 训练 误差 
性 能 指标 ， 也 可 能 达 不 到 训练 误 震 性 能 指标 。 所 以 ， 当 这 不 到 训练 误差 性 能 指标 时 ， 需 要 重新 
对 随机 感知 规 层 的 权 信 和 交 值 进行 初始 化 赋 信 ， 可 以 将 其 初始 化 函数 设置 为 随机 函数 ， 然 后 用 
init 函数 重新 初始 化 。 程 序 第 一 次 运行 的 结果 往往 达 不 到 设计 要 求 ， 需 要 反复 运行 ， 直 至 达到 
有 要求 为 目 。 

2.， 多 层 感 知 嚣 神经 网 络 的 应 用 举例 

【 例 4-4】 单 层 感 知 右 网 络 不 能 模拟 弄 或 图 数 ， 这 里 用 一 层 感知 器 神经 网 络 米 实现 。 

1) 问题 分 析 

红 或 真 值 表 见 表 4-2。 


表 4-2 ” 异 或 真 值 表 


0 0 

0 

0 

若 把 异 或 问题 看 成 只 - 忆 , 平面 上 的 点 ， 则 点 AU 、4 (0(D 表示 输出 为 0 的 两 个 点 ， 
Bo(0) 、 忆 (0 表示 输出 为 工 的 两 个 点 ， 如 图 4-10 所 示 。 





疡 ? 
人 
O | 疡 
(a) 单 层 感知 露 的 超 平面 划分 人 b) 和 多 层 感知 器 的 超 平 面 划分 


图 4-10” 开 或 问题 的 图 形 硼 示 


人， 
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从 图 4-10 中 可 以 看 出 , 无 论 在 平面 上 怎样 用 一 条 百 线 也 不 可 能 将 输出 为 0 和 1 的 两 种 模 却 
分 开 ， 而 用 两 条 责 线 下 能 将 输出 为 0 和 1 的 两 种 模式 分 开 。 

2 ) 神经 网 络 的 设计 

根据 以 上 人 分析， 如果 用 两 层 感 知 器 ， 每 层 感 知 器 可 以 构成 一 条 直线 来 划分 ， 则 可 以 解决 模 
拟 异 或 函数 的 问题 。 以 图 4-11 所 示 的 二 层 神 经 网 络 来 实现 ， 其 中 隐 层 为 随机 感知 器 层 〈netl )， 
神经 元 数目 设计 为 3， 其 权 值 和 浆 值 是 随机 的 ， 它 的 输出 作为 输出 层 〈 分 类 层 ) 的 输入 ;输出 
层 为 感知 器 层 (net2)， 其 伸 经 元 数 为 1， 这 里 仅 对 该 层 进行 训练 。 


一 量 短 宙 感知 居 第 二 层 感 知 坝 


7 加 
了 T 1W 
天 
1 一 一 | 态 1 3 中 加 
3Xx] 
1]x1 
图 4-11 例 4-4 的 二 层 感知 器 神经 网 络 模 弄 


3) 多 层 感知 器 神经 网 络 的 MATLAB 实现 
代码 如 下 


clearfall; | 本 

% 初 始 化 随机 感知 器 层 加 E 
PR1=[0 1;01];， fu 
netl=newp(PR1， 3); 症 | 
netl.inputweights{ 1}:initFcn= rands; 汪汪 
Pet].biases{1l | InitFcn= 一 Tands ; 加 

Bl-netl bl 1 SU 

















儿 随 机 感知 器 层 仿 真 量 
Pl=[0 0;0 1;1 0;1 1] 
[ALPfl=simCnetl.P1):; 


% 初 始 化 第 二 感知 器 层 
PR2=f0 1:0 1:0 1; 和 
net2=newp(PR2.D)) Re 


% 训 练 第 二 感知 器 层 
net2. tainParam， RS WU 和 
P2=ones(3 ,4) GE 
T2-[0 1 10]; 

[net2, 工 R2]=trainCnet2,P2, [2) 
epoch2=T 下 2.epoch 
perf2= 工 R2.perf 
TITW2=net2.1w1{1 | 
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呈 2=net2.b{ | |j 
% 存 储 训 练 后 的 网 络 


Save net34 net] net2 


因为 随机 感知 磺 层 的 输出 是 随机 的 ， 所 以 整个 网 络 可 能 达到 训练 误差 指标 ， 也 可 能 达 不 到 
训练 误 竺 指标。 因此 ， 当 达 不 到 训练 误 兰 指标 时 ， 需 要 重 痢 对 随机 感知 妖 层 的 权 值 和 靖 值 进行 
人 急 始 化 赋值， 在 本 例 程 序 中 ， 是 通过 将 其 初始 化 图 数 设 置 为 随机 明 数 ， 然 后 用 init 图 数 和 车 新 初 
蛤 化 来 实现 的 。 芭 程序 训 一 次 运行 的 结果 可 能 达 不 到 设计 要 求 ， 般 要 凤 复 运行 ， 
为 止 。 正 因为 如 此 ， 每 次 训练 得 到 的 结果 也 不 尽 相 同 。 

这 样 做 是 因为 设计 受到 感知 器 的 学 习 算 法 的 限制 , 对 于 多 层 网 络 ,当然 有 更 好 的 竺 习 算 法 ， 
比如 后 面 将 要 介绍 的 BP 网 络 学 习 算 法 。 

其 中 达到 训练 误差 指标 的 一 种 运行 顷 未 如 下 。 

TIW1 = 

0.7200 -0.0069 
0.7073 ”0.7995 
0.1871 0.6433 

Bi = 

-0.6983 
0.3958 
-0.2433 


TRAINC, Epoch Q/10 
TRAINC, Epoch LU10. 
TRAINC, Epoch 2/10 
TRAINC, Epoch 3/10 
TRAINC, Epoch 4/10 
TRAINC, Epoch /10 
TRAINC, Epoch G/10 
TRAINC, Epoch 7/10 
TRAINC, Epoch 8/10 
TRAINC， Epoch 9/ 10 
TRAINC, Epoch 10/10 
TRAINC, Maxlmum epoch reached 


0 1 3 4 5 46 7 8 9 10 
“0.5000 ， 0.75$00 .0.7500” 0.5000 ”0.5000 0.7500 10000 1.0000 
0.2500 “0.5000 0.5000 


运行 后 ， 训 练 误 差 性 能 曲线 如 图 4-12 所 示 。 
下 面 为 多 层 感 知 器 神经 网 络 仿真 的 MAILAB 程序 。 


国志 
间 


全 
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clear 引 l: 


多 加 载 训练 后 的 网 络 
load net34 DC 


% 随 机 感知 器 层 仿真 和 四 本 本 
P1=[0 0;0 1;1 0;1 1 下 本 ee 
Al=simetLPD: RAR 


PD=onest3 4 0 os Me 


Oogjitielt P2) 下 人 


答 出 仿 和 
new 和 有 网 


Perormance is 0.5，Goalis 0 


Tmaining-Blue 


10” 


站 品 
10 Epochs 
图 4-12 ”训练 误差 性 能 曲线 


可 以 看 出 ， 所 广 计 的 网 络 可 以 正确 模拟 “ 弄 或 ”图 数 的 功能 。 
4.1.6“ 用 于 线性 分 类 问题 的 进一步 讨论 


我 们 可 以 把 神经 网 络 实现 的 功能 看 成 是 输入 到 输出 的 映射 ， 如 果 把 每 一 种 不 同 的 输入 看 成 
是 一 种 输入 模式 ， 将 其 到 输出 的 映射 看 成 是 输出 啊 应 模式 ， 则 输入 到 输出 的 映射 束 变 成 输入 模 
式 空 间 到 输出 模式 空间 的 肌 射 。 这 种 输入 柑 陈 到 输出 模式 的 映射 ， 就 是 柑 取 分 类 问题 。 

1. 决策 函数 与 决策 边界 

贷 式 分 类 的 基本 内 容 是 确定 判决 图 数 与 决策 边界 。 对 于 C 类 分 类 问题 ， 按 照 判决 规则 可 以 
把 特征 同 量 空间 《或 称 模式 空间 ) 分 成 C 个 决策 域 。 将 划分 决策 域 的 边界 称 为 决策 边界 ， 在 数 
学 上 可 以 用 解析 形式 将 其 表示 成 决策 边界 方程 。 用 于 表达 决策 规则 的 某 些 函数 称 为 判决 师 数 。 
判决 函数 与 决策 边界 方程 是 密切 相关 的 ， 而 且 它 们 都 由 相应 的 决策 规则 所 确定 。 

神经 网 络 用 于 模式 分 类 ， 其 决策 函数 为 

JU = /HPT+D) (4-10) 

决策 边界 由 相应 的 决策 函数 和 决策 规则 所 确定 。 一 般 来 说 ， 当 模式 王 为 一 维 时 ， 决 策 边界 为 一 
分 界 点 ; 当 己 为 二 维 时 , 决策 边界 为 一 直线 ; 当 己 为 三 维 时 , 决策 边界 为 一 平面 ; 当 叫 为 天 (天 >3) 
维 时 ， 决 策 边 界 为 一 超 平面 。 图 4-13 画 出 了 于 =1、2、3 的 情况 。 


量 中 
格 Wu 
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(alj 一 - 维 (b) 一 维 (cy 二 维 
网 4-13 输入 维 数 不 同 时 了 的 雇 策 边界 


住 MAILAB 神经 网 络 工 具 箱 中 ， 可 以 用 plotpc 图 数 绘制 民有 科 3 感知 器 神经 网 络 的 分 类 线 ， 
遇 数 评 细 说 明 请 参见 种 3 章 内 容 。 
2 感知 器 的 决策 函数 与 决策 边界 
感知 髓 神经 元 的 传输 函数 为 痪 值 型 图 数 ， 若 传输 轴 数 为 hardlim 函数 ， 则 其 雇 策 困 数 为 
ee 0，VWPpA+5<0 
2 ) 一 党 
ardljimf(p |， Wp+p 二 0 (4-11) 
其 值 具 有 0 和 1 两 种 情况 ， 所 以 决策 边界 由 下 列 边 界 方程 决定 
HP+P=0 (4-12 1) 


单 层 感知 占 只 有 一 个 边界 方程 ， 且 为 线性 方程 ， 所 以 它 只 能 进行 线性 分 类 。 
【 例 4-$】 设 计 一 个 感知 器 神经 网 络 ， 完 成 下 询 分 类 ， 以 MATLAB 编写 仿 直 程 序 ， 并 画 山 
分 类 线 。 世 知 


二 0. f 二 人 芭 | 天 全 一 2 全 和 1 一 曲 
| 


1 ) 问题 分 析 

得 入 回 量 有 2 个 元 素 ， 取 值 范 围 为 [-1，l!; 输出 癌 量 有 1 个 元 素 ， 是 一 个 一 值 元 素 ， 取 但 
为 0 或 1。 由 此 可 以 确定 单 层 感 知 左 神经 网 络 的 结构 : 1 个 输入 回 量 ， 包 括 2 个 元 紊 ，1 个 蚀 经 
元 ， 神 经 元 的 传输 函数 为 hardlim。 

2 ) MATLAB 程序 设计 


clear al] 

多 初始 化 感知 如 网 络 

PR=[-1 -1 

net=newp( 上 PR ,1); 
Mnet.layers{1j,transferFcn= hardllms : 
免 训练 感知 促 网 络 

P=[0.3 -1; 1 0.3;-1 0.5;-1 -1]] 
T=Iol10]; 

[net, 工 R1=trainmOnet, 了 , 误 ); 

名 神经 网 络 仿真 的 MATLAB 程序 
多 网 络 仿真 

p=[0.$ -1;1 0.9;-1 0.3:;-] -1 
A=Slm(net,P) 
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多 绘制 网 络 的 分 类 绪 斥 及 分 类 线 
V=|-22-22|: 

plotpv(P,A.V); 

Pilotpc(net.Iw1{1 jnetbf{Tl 7: 

伪 乓 颖 末 < 划 是 o 


P 一 
0.5000 1.0000 -1.0000 -1.0000 
-1.0000 ”0.5000 0.5000 -1.0000 
斥 二 
0 1 | 0 
分 类 结 昌 及 分 类 线 如 网 4-14 所 示 。 


Vectors to be Cassfied 


-2 -1 0 1 2 
F() 


图 4-14 例 4.5 的 分 类 结果 及 分 类 线 


感知 融 是 一 种 最 简单 的 神经 网 络 模型 ， 它 只 能 用 于 解决 线性 可 分 的 问题 ， 但 它 也 是 第 :种 
二 us 本 节 通 过 对 感知 器 的 讨论 ， 介 绍 了 神经 元 、 神经 网 络 模型 神经 网 络 训 

盯 浓 习 规 则 等 基本 知识 ， 以 及 神经 元 和 和 伸 经 网 络 模型 在 MAILAB NNET ToolBox 中 的 衣 人 小 方 
用 MATLAB 和 全 网络 进行 仿 贞 ， 最 基本 的 3 个 图 数 是 网 络 创建 曾 数 、 网 络 训练 
国 数 和 网 络 仿真 图 数 。 竺 握 感 知 闫 神经 网 络 的 基本 知识 及 其 仿真 程序 议 寺 的 一 般 方 法 定 学习 其 
他 社 经 网 络 模 : 刑 的 基础 。 


4.2 线性 神经 网 络 


线性 神经 网 络 是 最 和 傈 单 的 一 种 神经 网 络 ， 它 由 “个 或 多 个 线性 神经 元 构成 。1960 年 由 
B.Widrow 和 M.E.Hofft 提出 的 目 适 应 线性 单元 CAdaline) 网 络 是 线性 神经 网 络 最 早上 的 贞 型 代表 。 
线性 神经 网 络 采 用 线性 函数 作为 传递 亢 数 ， 央 此 其 输出 可 以 取 任 意 值 。 线 性 神经 网 络 可 以 采用 
基 十 最 小 二 乘 算 法 (LMS )， 的 Widrow-Hoft 学 习 规 则 数 调 贡 了 网 络 的 权 值 和 国 值 ， 有 其 收 化 速度 和 
精度 都 有 较 大 的 改进 。 此 外 ， 采 用 newlind 郑 数 还 可 以 直接 根据 网 络 的 输入 舌 量 和 月 标 失 基 设 
计 出 期 望 的 线性 网 络 。 和 感知 器 神经 网 络 一 样 ， 线 性 昼 经 网 络 只 能 反映 输入 和 输出 样本 矢量 癌 


的 线性 有 映射 天 系 ， 它 只 能 解决 线性 可 分 问题 。 线 性 神经 网 络 和 在 图 数 拟 合 、 依 区 滤波 、 预 训 和 探 


制 靠 方面 都 有 看 广 溪 的 应 用 。 
4.2.1 线性 神经 网 络 结构 


1. 线性 神经 元 模型 
线性 :神经 元 模型 的 结 榴 如 疼 4-1S 所 示 。 
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y=Purelin 《WP+F) 
图 4-15 ”线性 神经 元 模 垄 


与 感知 器 神经 元 不 同 的 是 ， 线 性 神经 元 采用 的 传递 函数 为 线性 函数 purelin， 其 他 输入 与 答 
出 之 间 是 简单 的 纯 比 例 关 系 。purelin 函数 的 具体 应 用 请 参见 第 3 章 。 线 性 和 神经 元 的 和 输出 可 以 取 
任意 值 ， 其 输入 、 输 出 关系 为 
& =purelin(wPp 二 12)= 三 WP+DP (4-13 
2.， 线性 神经 网 络 结构 
图 4-16 给 出 了 具有 尺 维 输入 的 单 层 〈 包 售 $ 个 神经 元 ) 线性 神经 网 络 模 型 。 


线性 神经 元 后 


输入 
” 一 一 Ts 
万 
人 | 必 三 
1 
9 汉 ] 
民 、 9 Li 
4=Plrelin (WP+ 太 ) 


图 4-16 ”线性 神经 网 络 


4.2.2 ”线性 神经 网 络 衣 计 


1， 线性 神经 网 络 的 学 习 规 则 
线性 神经 网 络 权 值 和 阁 值 的 学 习 规 则 采用 的 是 基于 最 小 二 乘 原 是 的 Widrow-Hotff 学 习 算 
法 。 基 于 Widrow-Hoff 学 习 算 法 的 权 值 和 靖 值 调节 了 原理 如 下 。 














卫 ( 上 +D= 丽 (人 +A 卫 (和 BA+D=DOK) 上 +AD(E) (4-14) 
其 中 
0e“ (8 9e"? (让 ) 
人 了 风 ( 丰 = 一 C Ap(K) = 一 C 志 《4-14 ) 
由 于 
De“ (大 ) De De “<( 肛 ) 0e 
Ra 二 上 Re 4-10 ) 
了 一 2005 坟 
且 有 
oOe 0 0e 
人 芭 = -DK) 一 = 一 ] _ 
TY [LE 一 (到 XP(OC)TTDi 三 一 P(K) 了 (4-17 ) 
所 以 ， 上 述 权 值 和 效 值 的 调节 公式 可 弯 为 
厂 (E+HD= 琴 ( 口 +2ae(K)P (DRTD=DO)T+TZQ2e() (4-18 ) 
即 


卫 人 (ATD= 琴 (+7ek)P KBDKT+DD=DC) Te (4-19 ) 


有 人 


和 


ee 
LE 
II 
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其 中 ，4 为 学 习 速 率 。 当 7 较 大 时 ， 学 习 速 率 加 快 〈4 取 值 过 大 时 有 可 能 使 学 习 变 得 不 稳定 )， 
肥 之 尔 然 。 

在 MAILAB 中 ，Widrow-Ho 企 尝 习 算法 对 应 的 学 习 图 数 为 learnwh。 

2， 线性 神经 网 络 的 训练 和 仿真 

对 线性 神经 网 络 豚 训练 可 以 调用 train 函数 完成 。 利 用 train 函数 对 线性 神经 网 络 进 行 训练 
实际 一 和 十 家 指 所 纷 出 的 “输入 一 目标 ”样本 和 天 量 集 ， 调 用 神经 网 络 生成 时 所 定义 的 权 值 和 阅 值 

党 习 图 数 learnwh 对 网 络 不 断 进行 调 贡 ， 最 终 使 网 络 输出 接近 目标 输出 的 过 程 。 下 面 的 代码 给 

出 了 - -个 典型 的 具有 二 维 输入 线性 神经 元 的 训练 过 程 。 

clear 3 加 

P=f12-10:220-1 

工 =[001 1 

net=newlin([ 0 -和 


人 En P 人 


训练 中 会 显示 如 下 信息 。 


TRAINB， Epoch 0/100, MsSE 0.2/0.01. 

TRAINB, Epoch 2S/100， MSE 0.12160710.01. 
TRAINB, Epoch 5U/10U， MSE 0. 0334739/0. 01. 
TRAINB, Epoch 73/100, MsE 0. 0121 11/0.01.， 
TRAINB, Epoch 82/100, MSE 0. 00983141/0. 0U1. 
TRAINB, Performance goal met. 


可 多 ， 当 训练 到 第 82 步 时 ， 网 络 性 能 运 盾 。 世 时 的 私 什 和 奖 价 吓 诈 


>> W=netlw1{1, | 
SA 加 
-0.1854 -0.2112 
>> Db=net.bfl} 
b = 
0.6973 


利用 sim 等 相关 国 数 可 以 对 如 练 好 的 线性 神经 网 络 进行 仿 贞 和 旋 莽 分 析 。 


>> 3 一 Slimn(net 上 ) 
3 一 


0.0894 -0.0959 ”0.8827 0.9086 
>> error=T-a 
人 ttT 二 
-0.0894 “0.0959 “0.1173 ”0.0914 
>> m=msSelterroT) 

0.0098 

， 线性 神经 网 络 的 直接 设计 法 

WE 不 同 的 是 ， 线 性 神经 网 络 可 以 根据 输入 和 目标 天 量 百 接 妈 夺 出 来 。 闻 

数 newlind 无 须 经 过 训练 ， 就 可 以 直接 设计 出 线性 神经 网 络 ， 使 得 网 络 实际 输 出 与 日 标 笨 出 的 
平方 和 误差 SSE 为 最 小 ， 其 利用 格 陈 为 


net=newlnd (PT) 
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4.2.3 自 适 应 滤波 线性 神经 网 络 


1， 目 运 应 滤波 线性 神经 网 络 结构 

自 适 应 滤波 线性 神经 网 络 〈 人 简称 自 适 应 滤波 网 络 ) 是 线性 神经 网 络 的 一 种 特殊 形式 ， 它 与 
般 线 性 神经 网 络 的 不 同 之 处 在 于 目 适 应 滤波 网 络 引 入 了 如 图 4-17 所 未 的 TDL。 

可 见 ， 目 运 应 滤波 网 络 的 输入 是 由 同一 输入 信号 的 奋 干 延 色 信和 号 所 构成 鸭 ， 即 有 


PK) 三 万 (K) 
Pd 2 (XI) 三 (一 ] 


PdNC)=PDCK 一 AN 十 D 


TDBDL 
线性 居 
人 
EPES 汇 芭 di 





PE-N+D 





图 4-17 TDL 延迟 链 图 4-18 和 有 自 适应 滤波 网 络 绩 构 


一 个 典型 的 自 适 应 滤波 网 络 的 结构 如 图 4-18 所 示 ， 其 中 ， 线 性 层 只 有 一 个 神经 元 。 坊 神经 
网 络 的 输出 为 


N 
4(K)=purelin(Owyp +z) 三 》 WiP( 一 [十 十 P (4-20 ) 
7 一 | 
可 见 ， 息 适应 滤波 网 络 的 输出 是 由 输入 信号 PR) 及 其 延迟 信号 的 线性 组 合 构成 的 ,这 正好 
j 数 字 信 号 处 理 领 域 所 谓 的 有 限 剖 击 啊 应 (FIR) 滤波 器 的 络 构 形 式 相 吻合 。 
当然 ， 自 适应 滤波 网 络 的 线性 层 也 可 以 由 多 个 线性 神经 元 组 成 。 一 个 典型 的 具有 多 个 神经 
无 的 目 适 应 滤波 网 络 结构 的 迪 格 形式 如 图 4-19 所 未 。 


具有 $ 个 神经 元 的 线性 大 
一 一 
忆 (A) Pd( 月 
人 5xf(G@-AN) 个 Fz{ 大 ) A 
9Xj 


中 





图 4-19 具有 3$ 个 神经 元 的 自 适应 滤波 网 络 结构 的 缁 略 形式 


迄今 为 止 ， 自 适应 泪 波 网 络 已 成 为 应 用 最 为 广泛 的 神经 网 络 之 一 ， 它 在 信号 滤波 、 预 测 与 
控制 等 领域 都 有 着 广泛 的 应 用 。 


第 4 章 前 向 型 神经 网 络 及 MATLAB 应 用 欠 例 


2.， 上 适应 滤波 线性 神经 网 络 设计 

目 运 应 滤波 网 络 的 生成 可 以 采用 两 种 方式 : 一 种 是 通过 调用 newlin 函数 直接 生成 带 有 延迟 
链 的 上 自 适 应 滤波 网 络 : 另 一 种 则 是 首先 利用 newlin 函数 生成 不 带 延 迟 链 的 线性 网 络 ， 然 后 通过 
网 络 重 定义 将 延 开 链 加 入 预先 生成 的 线性 网 络 中 。 图 4-20 为 单 神经 元 目 适应 滤波 网 络 的 结构 未 


0 多 | 
后 富 


区 人 线性 层 





Pi (一 P(1) 







P(O)=PK 一 1) 


忆 :(K) 一 PK 一 志 ) 





4 = Pureln( 全 pH) 
图 4-20” 单 神 经 元 目 适 应 滤波 网 络 结构 示意 图 
该 月 适应 滤波 网 络 同 以 采用 如 下 两 种 方式 来 生成 〈 假 设 网 络 输入 范围 为 [0，10] )。 


全 
net=newlin ([0，10]，1，[0 12]): 
方式 二 : 


net=newhn(0，10]， 卫 ; 

net.InputWelghts{1,1j.delays=[O 1 2]; 
其 中 ，[0 1 2] 中 各 元 素 分 别 表示 自 适 应 滤波 网 络 各 维 输入 所 对 应 的 延迟 量 。 下 面 我 们 对 所 生成 
的 目 运 应 滤 汲 网 络 分 别 进行 初始 化 、 仿 趴 和 训练 。 

目 适 应 滤波 网 络 的 初始 化 与 一 般 的 线性 神经 网 络 基本 相同 ， 只 是 存 初始 化 网 络 权 值 和 净值 
的 同时 ， 目 适应 滤波 网 络 还 要 对 延迟 得 入 的 初始 值 进 行 设 置 。 

首先 ， 对 网 络 初 始 权 仁和 国 值 进行 设置 。 

net=newlml10,10].1.10 1 2]); 

netw1{11,11=17 8 9]; 

net.bf1 1=U; 

其 次 ， 在 对 网 络 进行 仿真 之 前 需要 对 延迟 输入 P (ke) 和 己 ( 昌 的 初始 值 进行 设 置 。 


Pi={1.31}: 
如 对 咏 PO=1，P(=3。 


定义 输入 矢量 如 下 。 
P={1343 0 
现存 可 以 调用 sim 困 数 对 上 面 所 创建 的 目 运 应 沽 疲 网 络 进行 仿真 。 
[A,Pfl=stmnet,P,PI) 
[34] [79] [94| [118] 
Pf = 
[> [| 
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其 中 ，Pf 为 仿真 后 的 延 返 输入 的 终 值 。 有 兴趣 的 读者 可 以 利用 笔算 对 上 述 网 络 的 仿真 结构 加 以 
验证 ， 以 便 能 更 好 地 理解 目 适 应 滤波 网 络 的 工作 原理 。 
下 面 , 利用 adapt 函数 对 目 适 应 滤波 网 络 进行 训练 , 使 目 适应 滤波 网 络 能 够 根据 输入 序列 己 
输出 期 望 的 目标 序列 了 。 
T=11030307011: 
net.adaptParam.passes=300; 
[net,Y, 于 |=adaptnet 了 , 工 PU 
经 过 训练 ， 网 络 的 实际 输出 啊 应 为 
YY 一 
[14.2170j 140.>601] 143.9000|] [02.8289] 
FE > 
[-4.2170j [-10.5601 [0.0994 | [4.1 7 
可 见 ， 训 练 结 末 基 本 满意 ， 要 想得到 更 局 的 匹配 精度 ， 还 需要 继续 对 网 络 进行 训练 。 
此 外 ， 还 可 以 及 用 newlind 函数 对 上 述 目 适应 滤波 网 络 直 接 进 行 设计 ， 即 
net=newlmnd(P, 工 PU; 
Y=slIm(net, 了 ) 
一 
[10.0000] [30.0000] [30.0000 | [70.0000] 


可 见 ， 利 用 newlind 函数 直接 设计 出 的 自 适应 滤波 网 络 实 现 了 零 误 益 输出 。 
4.2.4 线性 神经 网 络 的 局 限 性 


线性 神经 网 络 只 能 反映 输入 和 输出 样本 矢量 间 的 线性 映射 关系 ， 和 感知 器 神经 网 络 一 样 ， 它 
也 只 能 解雇 线性 可 分 问题 。 由 于 线性 神经 网 络 的 误 震 曲面 是 一 个 多 维 拖 物 面 ， 所 以 在 学 习 速 次 足 
够 小 的 情况 下 ， 对 于 基于 最 小 二 潍 梯 度 下 降 刀 理 进 行 训 练 的 线性 神经 网 络 总 可 以 找到 一 个 最 优 
解 。 但 是 ， 尽 和 薛 如此， 对 线性 神经 网 络 的 训练 并 不 一 定 总 能 达到 零 误 着 。 线 性 神经 网 络 的 训练 性 
能 要 受 网 络 规则 和 训练 样本 集 大 小 的 限制 。 才 线性 神经 网 络 的 自由 度 《〈 即 神经 网 络 所 有 权 值 和 效 
值 的 个 数 总 和 ) 小 于 训练 样本 集中 “输入 一 是 标 ” 舌 量 的 对 数 ， 且 各 样本 和 天 量 线性 无 和 关 ， 则 网 络 
训练 不 可 能 达到 零 误 着 ， 而 只 能 得 到 一 个 使 网 络 误差 最 小 的 解 ， 反之 ， 帮 网 络 自 由 度 大 于 样本 集 
的 个 数 ， 则 会 得 到 无 穷 多 个 使 网 络 训 练 误 莽 为 零 的 解 。 此 外 ， 值 得 注意 的 是 ， 线 性 神经 网 络 的 训 
练 和 性 能 郑 受 到 笠 习 速率 参数 的 影响 ， 过 大 的 尝 习 速 革 可 能 会 寻 致 网 络 性 能 友 艇 。 
4.2.5 线性 神经 网 络 的 MATLAB 应 用 举例 

【 例 4-6】 用 直接 说 计 法 设计 一 个 简单 的 线性 神经 元 ， 使 其 能 够 拟 合 如 下 所 给 的 输入 样本 矢 
量 和 有 具 标 天 量 ， 其 中 

输入 矢量 为 

P=[008 -2] 

目标 天 量 为 

T=[0.$ 1] 

本 例 的 MATLAB 代码 如 下 。 


clear al] 
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echo on; 

patse %% 三 任 间 和 开 始 

P=[{O.8 -2 

T=[051] 国 交 

和 设 定 线性 神经 元 可 能 的 权 什 阅 值 范 转 
W_Tange=-1:0.2:]; 


B. _range=-]1: 0.2:1; 

5 根据 输入 和 目标 矢量 绘制 线性 神经 元 的 误差 曲面 
ES=errsurf(P， 工 ,W _ _Tange,] .了 B -Tange， Purelimn ); 
plotes(W_range,B _TangeEES); 

多 直接 设法 设计 线性 神经 网 络 


线性 神 经 则 几 进 行 仿 贞 机 
A=simCnetP) 

多 计算 仿 真 误差 

SE-sse(E) 后 四 

% 根 据 网 络 权 值 和 阅 值 在 误差 曲面 上 绘制 当 前 1 前 位 置 点 

plotes(W - range,B_ranige， ES); 四 

plotepCetiw{1l,1 net.b{f11， SB 

echo oft; 


窗口 显示 结果 如 下 。 


A= 二 
四 0.5000 荆 0000 | 


在 利用 newlind 函数 设计 线性 神经 元 之 前 ， 可 以 根据 可 能 的 网 络 权 全 和 国 值 范围 ， 并 利用 
函数 errsurf 绘制 出 神经 元 的 误差 曲面 。 本 例 所 绘制 的 误 状 曲面 如 图 4-21 所 示 ， 其 中 越 完 的 部 
分 误差 越 小 .图 4-21 中 所 示 的 亮点 为 网 络 设计 完成 之 后 根据 当前 网 络 权 值 和 峡 信 , 并 利用 plotep 
羡 数 绘制 的 误 状 位 置 点 ， 可 见 误 兰 氮 位 于 误 兰 遇 面 的 最 低 氮 。 


Error 名 uace Error COntoUr 
吗 


Sum 号 uared 芋 rror 


ee 


Wwweight WwW 


图 4-21 ”线性 神经 元 的 误 兰 曲面 和 误差 操 


【 例 4-7】 设 计 并 训练 一 个 线性 网 络 ， 实 现 从 输入 癌 量 已 到 输出 同 量 了 的 转换 。 


P=[124:248]: 
T=[0.5 1 -1]: 


从 两 个 向 量 的 结构 来 看 ， 所 设计 的 线性 网 络 是 具有 阔 值 的 ， 并 且 输 入 技 的 神经 元 为 2 个 ， 
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性 理 居 的 神经 元 为 工 个 。 如 采 体 细 观 你 ， 驶 会 肥 击 输入 回 量 尼 是 线性 相关 的 。 在 这 种 情况 下 ， 
线性 网 络 能 够 解决 这 个 问题 。 其 MATLAB 代码 如 下 。 
P=(124:248j: 
工 =[0.5 1 -1 
net=newlmnCmtinmax(P) ,1.0.0.01); 
Y=SImOnet, 了 ); 
net=lnlt(net); 
net.traimnParam.epochs=2000; 
net.tralnParam.goal=0.0001 
net=train(net,P, ): 
网 络 训练 结 林 为 


TRAINB, Epoch U2000, ME 0.73/0.0001. 
TRAINB, Epochn -27112000. MoE 0.37609959370.UUU1. 


各 各 虽 昌吉 委 


TRAINB, Epoch 1973/2000, MoE 0.214286/0.0001. 
TRAINB, Epoch 2000/2000, MSNSE 0.214286/0.0001. 
TRAINEBE, Maxlimum epoch reached. 
了 可见， 网 络 训 练 第 1000 步 至 1$00 步 时 ， 网 络 误差 发 生 了 轻微 的 改变 ， 从 1500 步 后 ， 网 
络 天 天 卫 不 下 改 琶 ， 如 图 422 所 泵 ， 四 络 训练 证 天 为 0.214286 堪布 。 
对 网 络 进 行 仿 上 共 ， 竺 人 芭 此 时 的 网 络 竹 出 
Y=Sim(net. 了 ) 
Y = 
U.92806 0.3571 -0.7897 


PS8rormance IS 214286，Goal IS 0.0001 
0 


10” 
500 ”1000 1500 2000 


门 
Stob Trailmlnd 2000 Epochs 


图 4-22 训练 误差 由 线 


此 上 节 洒 上 杯 加 军工 相 比 较 ， 肥 更 误 插 还 是 比较 大 有 的 。 这 嫩 明 和 在 这 种 情 视 下 ， 网 络 是 无 法 
少 放 下 | 拘 解 纺 方 守 | 的 ， 

【 例 4-8 卫 利用 线性 神经 网 络 求 取 丰 线性 回 题 的 最 佳 线性 拟 合 解 。 

从 前 而 已 经 知道 ， 线 性 神经 网 络 只 能 描述 输入 、 输 出 站 的 线性 映射 关系 ， 治 输入、 输出 问 
左下 线性 关系 时 ， 利 用 线性 人 狸 经 网 络 只 能 得 到 竹 入 、 输 出 况 网 最 侍 线 性 拟 合 解 ， 人 而 不 能 
全 | 内 线 性 拟 合 。 本 例 我 们 将 采用 线性 早 铺 经 元 对 如 下 定义 的 输入 和 上 标 天 芋 进 行 拟 合 ， 划 得 入 
大 二 为 P=11123-121， 凡 术科 量 为 T10.4 13 -0.5]。 

上 由 得 入 和 关 最 和 上 日 标 矢 量 可 见 ， 网 肴 之 间 是 非 线 性 关系 , 即 找 不 到 一 弓 权 从 环 和 靖 们 轨 使 
得 对 珊 有 输入 和 日 标 样 本 矢量 均 满 足 线 性 表达 式 三 环 xPH+ 有 。 本 例 中 ， 我 们 将 采用 newlind 上 拓 
数 贞 接 设 让 法 和 train 图 数 旋 计 法 黄种 方案 对 线性 神经 网 络 进 行 放 让 。 完 整 的 MATLAB 代 公 


-raining-Blue 司 0al-Black 


如 下 。 
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clear 
ci reset 
echo on 
允 定 义 输入 目标 和 目标 矢量 
P=[1 123-1.2}]; 
工 =[0.4 1 3 -0.9]; 
pause 
% 设 定 线性 神经 元 可 能 的 权 值 和 效 值 范围 
W _range=-2:0.2:2; 
B_range=-2:U.2:2; 
% 根 据 输入 和 目标 矢量 绘制 线性 神经 元 的 误差 曲面 
ES=errsurf(P, 工 W_range:B_Trange,pureln ); 
plotes(W_range,;,B_range, 上 > ); 
pause 
echo o 圭 
disp('1. 采 用 newlind 函数 直接 设计 线性 神经 网 络 ): 
disp(2. 采 用 train 函数 训练 并 设计 线性 神经 网 络 ); 
choice=input( 请 选择 衣 计 方案 (1，2) : ); 有 
if (choice==1) 1 
echo on 
用 newlind 果 数 直接 设计 线性 神经 网 络 
net=newlnd(P,T); 
pause 
狗 对 性 线 神经 网 络 进行 仿 其 
A=Slm(net, 了 ) 
多 计算 仿真 误 产 
E=T-A 
9 上 =SSe( 上 ) 
pause 
% 在 误差 曲面 上 绘制 当前 误差 位 置 点 
pjotep(netfw1{11,1jnetbt1loE); 
pause 
echo oO 仁 
echo on 
多 绘制 拟 合 曲线 
pPlot(P, 工 ,Tr+); 
hold on 
plot( 上 PP.Ay); 
pause 
else 
echo on 
% 用 train 函数 训练 并 设计 线性 神经 网 络 
色 计 算 最 快 的 稳 乍 学 习 速 率 什 
maxlr=maxjnir(P, bias ) 
多 创建 线性 神经 网 络 
net=newlnninmax(P),1.10],0.3*maxlr)， 
儿 在 误差 曲面 上 选择 权 值 和 赋 值 对 线性 神经 元 进行 礼 始 化 
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plotes(W_Trange,B_range,ES); 
Subplot(1,2,2); 
[net.iw{l,1j,net.b{1)]=ginput(3): 
echo o 址 
SE=sse( -SIm(net,P)): 
plotep(entiwfl,l}jnetbfl},SE); 
echo On 
9 对 线性 神经 网 络 进行 训练 
nettrainParanmn.goal=0.01; 
[net,tr|=tramOnet, 忆 ,T); 
pause:; 
% 对 线性 神经 网 络 进行 仿真 
A=StimCnet,P) 
E= 工 -和 
SEE=Sse( 上 ) 
Patise 
多 在 讼 寿 曲 面 上 绘制 当前 误差 位 置 点 
plotep(netlw{1,1jnet.b{fl},SE); 
pause 
% 绘 制 误 差 变化 曲线 
plotperft(trnet.trainParam.goal); 
pause 
% 绘 制 拟 合 曲线 
plot(P,T,b*# ); 
hold oni; 
plot(P,A); 
pause 

end 

echo o 硅 


疫 任 意 键 执行 代码 ， 命 令 窗口 显示 如 下 内 容 给 用 户 选择 设计 方式 。 
([) 玉川 newlind 未 数 百 接 设计 线性 神经 了 网络 。 
(2) 有 米 亲 train 函数 训练 并 设计 线性 神经 了 网络 。 


十 选 拼 说 直方 案 
| ? 2 ) 时 ] 
在 此 选择 方案 ! 后 按 回 车 键 显 示 结 果 为 
入 一 
0.97930 1 .1394 2.019]1 -0.8336 

上 = 

-U.3730 -0.1394 0U.3809 0.3330 
9 上 = 


0.60614 
关 践 让 有 骨 ， 风 种 方 宁 均 末 能 达到 拟 合 去 误差 的 效果 ， 但 两 种 方案 都 得 到 了 相同 的 最 佳 拟 合 
结 杂 ， 图 4-23 所 示 为 拟 合 曲线 。 此 外 ， 图 4-24 给 出 了 所 设计 的 线性 神经 元 的 误差 曲面 和 误差 
所 位 章 。 
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Eror Suface Error &ontour 
尼 
1 
十 
吃 
0 5 4 | weight W 
疼 4-23 线性 神经 妃 最 佳 拟 合 曲线 图 4-24 ”线性 神经 泡 的 误 莽 曲 击 和 误差 点 





感知 器 神经 网 络 的 学 习 规 则 只 能 训练 单 层 神经 网 络 ， 而 单 层 神经 网 络 只 能 解雇 线性 可 分 的 
分 类 问题 。 多 层 神经 网 络 可 以 用 于 非 线 性 分 类 问题 ， 但 需要 寻找 训练 多 层 网 络 的 学 习 外 法 。 
1974 年 PWerbos 在 其 博士 论文 中 提出 了 第: -个 过 合 多 层 网 络 的 学 习 算 法 ,但 坟 簿 法 并 本 受 
钊 足够 的 重视 和 广泛 的 应 用 ,直到 20 世纪 80 年 代 中 期 , 才 国 加 利 福 尼 的 PDP(Parallel Distributed 
procession ) 小 组 于 1986 年 发 表 了 Parallel Distributed Processing 一 书 ， 将 该 算法 应 用 于 神经 网 
络 的 研究 ,， 才 使 之 成 为 迄今 为 止 最 著名 的 多 层 网 络 和 学习 算法 一 一 BP 算法 ,由 此 算法 训练 的 神经 
网 络 ， 称 为 BP 神经 网 络 。 在 人 工 神 经 网 络 的 自 际 应 用 中 ，BP 网 络 广 沁 应 用 于 图 数 遂 近 、 模 陈 
册 晶 /分 类 、 数 据 压 缩 等 ，80% 一 90 儿 的 人 工 神经 网 络 模型 是 采用 BP 网 络 或 它 的 莹 化 形式 ， 它 也 
是 拥 馈 网 络 的 核心 部 分 ， 体 现 了 人 工 神经 网 络 最 精华 的 部 分 。 


4.3.1 _BP 神经 元 及 其 模型 
BP 神经 元 模型 如 图 4-25 所 未 。 


答 入 神 j 皆 2 元 
| | 

站 
| 
记 R 计 1.R 上 
KW 





图 4-25 BP 神经 元 模型 
BP 神经 元 与 其 他 神经 元 类 似 ， 不 同 的 是 BP 神经 元 的 传输 函数 为 非 线性 函数 ， 最 各 用 的 示 
数 是 logsig 和 tansig 函数 ， 有 的 输出 层 也 采用 线性 丽 数 (purelin)。 其 输出 为 
= logsig( 几 PP +P) 《4-21 ) 
BP 网 络 一 般 为 多 层 神 经 网 络 。 由 BP 神经 元 构成 的 两 层 网 络 如 图 4-26 所 示 。BP 网 络 的 信 
有 息 从 输入 层 流 向 输出 层 ， 因 此 是 一 种 多 层 前 包 昼 经 网 络 。 


We 5] 国 : 输入 虱 经 于 网 络 层 神经 区 
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图 4-26 两 层 BP 神经 网 络 模 型 














MATLAB 神经 网 络 仿真 与 应 用 
如 果 多 层 BP 网 络 的 输出 层 采 用 $ 型 传输 函数 (如 logsig)， 其 输出 值 将 会 限制 在 一 个 较 小 
的 苑 围 内 [0,1]j， 而 采用 线性 传输 函数 则 可 以 取 任 意 值 。 


4.3.2 ”BP 网 络 的 学 习 


在 确定 了 BP 网 络 的 结构 后 ， 要 通过 输入 和 输出 样本 集 对 网 络 进行 训练 ， 亦 即 对 网 络 的 
全 和 权 值 进行 和 学习 和 修正 ， 以 使 网 络 实现 给 定 的 输入 和 翘 出 映射 关系 。 

BP 网 络 的 学 习 过 程 分 为 两 个 阶段 : 

第 -个 阶段 是 输入 已 知 学 习 样 本 ， 通 过 设置 的 网 络 结构 和 前 一 次 迁 代 的 权 值 和 靖 值 ， 从 网 
络 第 - 层 问 后 计算 各 神经 元 的 输出 。 

第 二 个 阶段 是 对 权 值 和 赋 全 进行 修改 ， 从 最 后 一 层 癌 前 计算 各 权 值 和 几 值 对 总 误差 的 影响 
(梯度 )， 据 此 对 各 权 值 和 靖 仁 进行 修改 。 

以 上 两 个 了 过程 皮 复 交 蔡 ， 直 到 达到 收 伊 为止 。 由 于 误 甜 过 层 往 回 传递 ， 以 修正 层 与 层 间 的 
权 值 和 闪 值 ， 所 以 称 该 算法 为 误差 反 回 传播 (back propagation) 算法 ， 这 种 误差 反 传 学 习 算 法 
可 以 推广 到 有 看 干 个 中 间 层 的 多 层 网 络 ,， 因 此 该 多 层 网 络 利 称 乙 为 BP 网 络 。 标 准 的 BP 算法 和 
Widrow-Hoff 学 习 规 则 一 样 ， 也 是 一 种 邬 度 下 降 学 习 算 和 法， 其 权 什 的 修正 是 治 痢 误差 性 能 男 数 
梯度 的 反方 癌 进 行 的 。 针 对 标准 BP 算法 存在 的 一 些 不 征 ， 出 现 了 儿 种 基于 标准 BP 算法 的 改进 
算法 ， 如 杰 杭 度 算 法 、 牛 顿 算法 等 。 

1 BP 了 网络 池 习 算 法 

1 ) 最 速 下 降 BP 算法 (Steepest Descent Backpropagation，SDBP ) 

(1) 最 速 下 降 BP 算法 。 

对 于 网 4-26 所 示 的 BP 神经 网 络 ， 设 大 为 迁 代 次 数 ， 则 每 一 层 权 值 和 交 值 的 修正 按 下 
陈 进行 


X(K 十 三 X) 一 CS (4-22 ) 


民 中 ，xX( 为 第 上 雇 帮 代 各 层 之 间 的 连接 权 癌 量 或 国人 四 量 。 


OF(K 
2(D= 汪 为 第 次 欠 代 的 神经 网 络 和 输出 误 志 对 各 权 什 或 国 值 的 梯度 内 量 。 负 号 衣 示 樟 


度 的 反方 癌 ， 即 棉 度 的 最 速 下 降 方 同 。 

wm 为 学 习 速 率 ， 在 训练 时 是 一 常数 。 在 MAITLAB 神经 网 络 工具 箱 中 ， 其 默认 值 为 0.01， 
可 以 通过 改变 训练 参数 进行 该 置 。 

五 (p) 为 第 天 次 欠 代 的 网 络 输出 的 总 误差 性 能 函数 ， 在 MATLAB 神经 网 络 工 具 箱 中 ，BP 
疯 络 误差 性 能 函数 默认 值 为 均 方 误差 MSE (Mean Square Error)， 以 两 层 BP 网 络 为 例 ， 只 有 一 
个 输入 样本 时 ， 有 


妆 
| 忌 
尼 (E)= 巨 [e"(6] = 竟 之 四 一 co (了 (4-23 ) 


相 
四 “ 
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S< 
af (= / | Da 一 忆 串 
产 i 
电 (4-24) 
色 2er en + 旋 四 二 有 则 | 
关 = 姜 1 
耕 有 味 个 输入 样本 
| 4 
BE( 人 = 已 le (中 ] 一 一 >》 [人 一 Ge (4-25 ) 
1 | 和 1 


根据 式 〈4-23) 或 式 4-25) 和 各 层 的 传输 函数 ， 可 以 求 出 第 大 次 选 代 的 总 误差 曲面 的 梯 
9 歼 () 
3 ， 分 别 代入 式 4-.22)， 便 可 以 逐次 修正 其 权 值 和 阅 值 ， 并 使 总 的 误差 向 减 小 的 
方向 变化 ， 直 到 达到 所 要 求 的 误差 性 能 为 止 。 

从 上 述 过 程 可 以 看 出 , 权 值 和 阔 值 的 修正 是 在 所 有 样本 输入 后 , 计算 其 总 的 误差 后 进行 的 ， 
这 种 修正 方式 称 为 批 处 理 。 在 样本 数 比较 多 时 ， 批 处 理 方式 比分 别处 理 方式 的 收敛 速度 快 。 


本 
时 
ha aa 


在 MATILAB 神经 网 络 工具 箱 中 ， 采 用 最 速 下 降 BP 算法 中 的 训练 函数 为 traingd。 


-re -mr Ag 。 rr。 -La -ar 恒 。。 - 。 - 和 。。 Lrre 。 -am 。 rm 。 gm ie 。 im eg 。 eg。 eg。 am 。 il。 ic。 有。 -Ye err。 eg。 Eee。 eg 。 eg。 eg 。 am。 -ii 有。 rr。 ri 。 -er 。 di pq 


采用 traingd 训练 BP 网 络 的 方法 是 : 

将 网 络 训 练 国 数 〈trainFcn) 设置 为 traingd， 每 个 神经 网 络 只 有 一 个 训练 图 数 导 之 对 应 : 
色 然后 调用 训练 函数 train; 

G@) 与 traingd 相关 的 训练 参数 有 7 个 : epochs、show、goal、time、min_grad、max_fail 和 lr。 
训练 函数 traingd 的 说 明 参 见 第 3 章 。 

(2) 最 速 下 降 BP 得 和 法 的 误差 曲面 。 

对 于 图 4-26 所 示 的 BP 神经 网 络 ， 权 值 空 间 的 维 数 为 





度 8(A) = 


1 一 尺 XS + X9 (4-26 ) 


阔 值 空间 的 维 数 为 
1 本 (4-27 ) 


根据 式 〈4-23) 至 式 〈4-27) 可 以 看 出 ， 若 要 同时 调整 所 有 的 权 值 和 了 国 但 ， 则 放 差 胃 数 的 
空间 维 数 为 
Pr 一 1 十 1 一 RRXS +SXS +S TS 人 
- 般 古 >2, 所 以 误差 曲面 是 一 个 具有 复杂 形状 的 只 维 超 曲面 , 无 法 在 三 维 空间 表示 出 来 ， 
当然 , 可 以 只 让 其 中 的 二 维 变量 改变 ， 而 固定 其 他 维 变量 ， 团 出 基于 该 二 维 杰 量 的 误差 曲 面 图 。 
对 于 单 输入 单个 神经 元 ,， 在 MATLAB 中 其 误差 曲面 可 以 由 函数 errsurf 直接 绘制 ， 以 图 4-27 所 
示 的 单 输入 单个 BP 神经 元 为 例 ， 议 训练 样本 集 为 


本 


二 
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7=[0 0.97 0.99 0.01 0.03 工 1 j; 


输入 第 1 层 
六 


"一 加 “人 |- 
UL_ 也 了 


图 4-27” 单 输入 单个 BP 神经 元 


则 绘制 其 误差 曲面 的 MATLAB 程序 代码 如 下 。 


P=[-6.0 -6.1 -4.1 -4.0 4.0 4.1 6.0 6.1 |]; 
T=[0 0 0.97 0.99 0.01 0.03 1 1]: 
W=-1:0.1:】: 

了 =-2.5:0.25:2.9: 
PsS=errsurf(P,T,W,B,logsig ); 
plotes(W ,B,Es,[60 30]); 


其 误差 曲面 是 关于 琴 和 召 的 二 维 曲 面 ， 如 图 4-28 所 示 。 


Error SUracCe Error Contour 
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图 4-28 ”单个 BP 神经 元 的 误差 曲面 及 其 等 值 线 


因为 BP 神经 元 的 传输 喝 数 为 非 线性 图 数 ， 所 以 其 误差 函数 往往 有 多 个 极 小 点 。 若 误 状 出 
面 有 了 两 个 极 小 点 正和 站 则 当 学 习 过 程 中 ， 如 果 误 差 先 到 达 局 部 极 小 点 天 点， 在 该 点 的 梯度 为 
8 =0,， 则 按 式 〈4-22 ) 将 无 法 继续 调整 权 值 和 阅 值 ， 学 习 过 程 结 束 ， 但 尚未 到 达 全 局 极 小 点 ma。 
刃 外 -一 种 情况 是 党 习 过 程 发生 振 水 , 误差 曲面 在 下 操 和 半点 的 梯度 大 小 相同 , 但 方面 相反 ， 
如 果 第 8 次 学 习 使 误差 落 在 天 点 ， 而 第 上 +1 次 学 习 又 恰好 使 误差 落 在 站 点 ， 那 么 按 式 〈4-22 ) 
进行 的 权 什 和 阅 全 调整， 将 在 正点 和 于 点 重复 进行 ， 从 而 形成 振 沪 。 
从 以 上 分 析 可 以 看 出 ， 最 速 下 降 BP 复 法 可 以 使 权 值 和 靖 值 癌 量 得 到 一 个 稳定 的 解 ， 但 人 存 
乍 ” 蔡 贞 氮 ， 如 收 人 速 度 慢 、 网 络 易 陷于 局 部 极 小 、 学 习 过 程 常 稼 友 生 振荡 等 。 为 了 殉 服 其 不 
年 ， 出 现 了 许多 改进 算法 。 
2 ) 动量 BP 自 法 (Momentum Backpropagation，MOBP ) 
动量 BP 算法 是 在 梯度 下 降 算 法 的 基础 上 引入 动量 因子 7U<7 < 。 
Ar(K+D=7Ar(D+ad- 帮 于 人 (4-29 ) 
OX (天 ) 
X(KT 二 TUD=X)+ACK 二 有) (4-30 ) 


该 算法 是 以 前 - 次 的 修正 结果 来 影响 本 次 修正 量 ， 当 前 一 次 的 修正 量 过 大 时 ， 式 〈4-29 ) 

第 2 项 的 符号 将 与 前 一 次 修正 量 的 符号 相反 , 从 而 使 本 次 的 修正 量 减 小 , 达到 减 小 振 沪 的 作用 : 

当前 一 次 的 修正 量 过 小 时 ， 式 〈4-29) 第 2 项 的 符号 将 与 前 一 次 修正 量 的 符号 相同 ， 从 而 使 本 

次 的 修正 量 增 大 ， 达 到 加 速 修正 的 作用 。 可 以 看 出 ， 动 量 BP 算法 ， 总 是 力图 使 在 同一 度 方 
站 上 的 修正 量 增加 。 动 量 因 子 7 越 大 ， 同 一 樟 度 方向 上 的 “动量 ”也 越 大 。 
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在 动量 BP 算法 中 ， 可 以 采用 较 大 的 学 习 率 ， 而 不 会 造成 学 习 过 程 的 发 散 ， 央 为 当 修正 过 
量 时 ， 该 算法 〈 即 动量 BP 算法 ) 总 是 可 以 使 修正 量 减 小 ， 以 保持 修正 方向 向 着 收敛 的 方向 进 
行 ;万 一 方面 ， 动 量 BP 算法 总 是 加 速 同一 习 度 方 加 的 修正 量 。 上 述 两 个 方面 表明 ， 在 你 证 算 
法 往 定 的 同时 ， 动 量 BP 算法 的 收 伍 速率 较 快 ， 学 习 时 间 较 答 。 


ilr -Er -PP -IC 


在 MATLAB 神经 网 络 工具 箱 中 ， 采 用 动量 BP 算法 的 训练 函数 为 aingdm。 


吸 数 traingdm 与 函数 traingd 一 梓 ， 它 不 是 被 用 户 直 接 调 用 的 ， 而 是 通过 训练 咽 数 train 圳 
用 的 ， 所 以 在 使 用 traingdm 时 必须 将 网 络 训练 印 数 〈trainFcn) 父 章 为 traingdm。 

3 ) 学 习 率 可 变 的 BP 算法 (Variable Learning Rate Backpropagation，VLBP ) 

在 最 速 下 降 BP 算法 和 动量 BP 算法 中 , 其 学 习 率 是 一 个 第 数 ,在 整个 训练 过 程 中 保持 不 亚 ， 
学 习 算法 的 性 能 对 于 学 习 率 的 选择 非常 敏感 ， 学 习 率 过 大 ， 算 法 可 能 振 沪 而 不 柱 定 ; 学 习 潍 过 
小 ， 则 收 往 速度 慢 ， 训 练 时 间 长 。 而 在 训练 之 前 ， 要 选择 最 佳 的 学 习 率 是 不 现实 的 。 事 实 上 ， 
可 以 在 训练 的 过 程 中 ， 使 学 习 率 随 之 变化 ， 而 使 算法 褒 看 误差 性 能 曲面 进行 修正 条 。 

自 适 应 调整 学 习 率 的 梯度 下 降 算 法 ， 在 训练 的 过 程 中 ， 力 图 使 算法 稳定 ， 而 同时 义 使 学习 
的 步 长 尽量 得 大 ， 学 习 率 则 是 根据 局 部 误差 曲面 作出 相应 的 调整 。 当 误差 以 减 小 的 方式 趋 于 目 
标 时 ， 说 明 修 正方 向 正确 ， 可 使 步 长 增加 ， 因 此 学 习 率 乘 以 增 量 因子 Anae ， 使 学 习 率 增加 :而 
当 误 差 增 加 超过 事先 设 定 的 值 时 ， 说 明 修 正 过 头 ， 应 减 小 步 长 ， 因 此 学 习 率 乘 以 减 量 因 了 于 kaee ， 
使 学 习 率 减 小 ， 同 时 舍 去 使 误差 增加 的 前 一 步 修正 过 程 ， 即 

KaG(KE) 丈 (K+THD< 克 (K) 


人 Ka(k) 五 +D > 五 (人 ) 0 


在 MAILAB 和 神经 网 络 工具 箱 中 ， 采 用 学 习 举 可 变 的 最 过 下 降 BP 算法 的 训练 函数 为 | 
traingda; 采用 学 习 率 可 变 的 动量 BP 站 法 的 训练 函数 为 traingdx。 


4) 弹性 算法 (Resilient Back-PROPagation，RPROP ) 

多 层 BP 网 络 的 隐 层 一 般 采 用 传输 函数 sigmoid， 它 把 一 个 取 值 范围 为 无 穷 大 的 输入 变量 ， 
压缩 到 一 个 取 值 范围 有 限 的 输出 变量 中 。 函 数 sigmoid 具有 这 样 的 特性 : 当 输 入 变量 的 取 全 很 
大 时 ， 其 斜率 趋 于 零 , 这 样 在 采用 最 速 下 降 BP 法 训练 传输 函数 为 sigmoid 的 多 层 网 络 时 吏 可 来 
一 个 问题 ， 尽 管 权 值 和 几 值 离 其 最 佳 值 相 差 其 远 ， 但 此 时 梯度 的 幅度 非常 小 ， 导 致 权 值 和 病人 
的 修正 量 也 很 小 ， 这 样 就 使 训练 的 时 间 变 得 很 长 。 

RPROP 算法 的 目的 是 消除 梯度 幅度 的 不 利 影响 , 所 以 在 进行 权 值 的 修正 时 ,仅仅 用 到 偶 导 
的 符号 ， 而 其 幅 值 却 不 影响 权 值 的 修正 ， 权 值 大 小 的 改变 取决 于 与 幅 值 无 关 的 修正 值 。 当 连续 
两 次 欠 代 的 梯度 方向 相同 时 ， 可 将 权 值 和 阔 值 的 修正 值 乘 以 一 个 增 量 因子 ， 使 其 修正 值 增加 
当 连 续 两 次 欠 代 的 梯度 方向 相反 时 ， 可 将 权 值 和 浆 值 的 修正 值 乘 以 一 个 减 量 因子 ， 使 其 修正 值 
减 小 ， 当 梯度 为 零 时 ， 权 值 和 阔 值 的 修正 值 保 持 不 变 ， 当 权 值 的 修正 发 生 振 荡 时 ， 其 修正 值 将 
会 减 小 。 如 果 权 值 在 相同 的 梯度 上 连续 被 修正 ， 则 其 幅度 必 将 增加 ， 从 而 克服 了 梯度 幅度 偶 导 
的 不 利 影响 ， 即 
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Ax(K+TD=Ar(KE+D: Sign(Cg(K)) 


Ax( 上 )KSign(g(K))  〈 当 连续 两 次 迭代 的 梯度 方向 相同 时 ) 


=1Ar( As SIgn(8U))  〈 当 连续 两 次 迭代 的 梯度 方向 相反 时 ) (4-32 ) 
Ar(K) ( 当 g( 人 =0 时 ) 


式 中 ，8S(UO) 为 第 《 次 欠 代 的 梯度 ，Ax(K) 为 权 值 或 闪 值 第 下 次 欠 代 的 幅度 修正 值 ， 其 初始 值 
Ax(g) 二 用户 设置 的 : 增 量 因子 操 。 和 减 量 因子 aee 也 是 用 户 设 置 的 。 


在 MATLAB 神经 网 络 工具 箱 中 ，RPROP 算法 的 训练 函数 为 tainrp 


5$) 变 梯 上 度 算 法 (Conjugate Gradient Backpropagation，CGBP ) 

最 速 下 降 BP 和 法 是 治 看 柳 度 最 陡 下 降 方 向 修正 权 值 的 ， 虽 然 误 差 函 数 沿 着 梯度 的 最 陡 下 
降 方 回 进行 惨 正 ， 误 状 减 小 的 速度 是 最 快 的 ， 但 收敛 的 速度 不 一 定 是 最 快 的 。 在 变 梯 度 算 法 中 ， 
ji 者 变化 的 方 癌 进行 搜索 ， 使 其 收敛 速度 比 最 陡 下 降 梯 上 度 方向 的 收敛 速度 更 快 。 

所 有 变 梯 度 算 法 的 第 一 次 迭代 都 是 沿 着 最 陡 梯 度 下 降 方向 开始 进行 搜索 的 


P( 引 = 一 8(U) (4-33 ) 
然后 ， 决 定 最 佳 距 离 的 线性 搜索 沿 着 当前 搜索 的 方向 进行 


X(KTID)=XCRK)TCPKCK) (4-34 ) 


P(k)=-8(O+ANUDJP(K 一 1 (4-35 ) 


民 中 ，P(Uo) 为 第 上 +1 次 帮 代 的 搜索 方向 ， 从 式 〈4-35) 可 以 看 出 ， 它 由 第 天 次 迭代 的 梯度 和 
搜索 方向 共同 决定 ， 系 数 CA(K) 在 不 同 的 变 梯 度 算 法 中 有 不 同 的 计算 方法 。 

(1] ) Fletcher-Reeves 修正 算法 。 

Fletcher-Reeves 修正 算法 是 由 有 .Fletcher 和 C.M.Reeves 提出 的 , 在 式 (4-3$) 中 , 系数 D() 


8 (KE)g(K) 
g (K-TDgCK-D 
这 种 仆 梢 上 度 算法 的 速度 通 芝 比 变 学 习 率 算法 的 速率 快 得 多 ， 有 时 比 RPROP 算法 还 快 。 其 

所 需 的 存储 空间 也 只 比 普 通 算法 略 多 :- 点 ， 所 以 在 连接 权 的 数量 很 多 时 ， 时 常 选用 该 算法 。 


CD)= (4-36) 


ER 和 


(2) Polak-Ribiere 修正 算法 。 
Polak-Ribiere 算法 是 由 Polak 和 Ribiere 提出 的 ， 在 式 〈4-3$) 中 ， 系 数 OK) 定义 为 
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Ag (KE 一 Dg( 大 ) 
由 汪汪 
g (K-TDgK-TD 


此 时 Fletcher-Reeves 修正 算法 就 演变 成 Polak-Ribiere 修正 算法 。 


Polak-Ribiere 修正 算法 的 性 能 与 Fletcher-Reeves 修正 算法 相差 无 几 ， 但 存储 空间 比 
Fletcher-Reeves 修正 算法 略 大 。 


(4-37 ) 


人 Sn nn RE mm La aa RN ne 1 0 IE 
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(3) Powell-Beale 复位 算法 。 

对 于 所 有 的 变 梯 度 算 法 ， 搜 索 方 回 都 会 周期 性 地 被 复位 成 负 的 梯度 方向 ， 通 常 复位 点 出 现 
在 友 代 次 数 和 网 络 参 数 个 数 《〈 权 信和 交 值 ) 相等 的 地 方 ， 为 了 提高 训练 的 有 效 性 ， 另 外 - 些 复 
位 的 算法 被 捉 出 ， 其 中 Powell-Beale 复位 算法 是 由 Beale 和 Powell 首先 提出 的 。 在 此 算法 中 ， 
如 宁 度 满 下 下 式 


EDg(CO| > 0.2|g(Co| (4-38) 


则 搜索 方向 被 复位 成 负 的 梯度 方向 ， 即 PUDJ =-8() 。 

尽管 对 于 任意 给 定 的 一 个 问题 ， 访 算法 的 性 能 难以 预先 确定 ， 但 可 以 肯定 ， 在 处 理 某 些 问 
题 上 Powell-Beale 复位 算法 的 性 能 比 Polak-Ribiere 修正 算法 要 略 好 些 ， 其 存储 空间 则 比 
Polak-Ribiere 修正 算法 要 略 大 些 。 


ea 人 Se 


el 


(4) SCG (Scaled Conjugate Gradient) 算法 。 

到 月 前 为 止 我 们 讨论 的 汉 种 区 杭 上 度 算 法 在 每 惟 友 代 时 都 需要 确定 线性 搜索 方 问 ， 而 线性 搜 
和 驼 的 计算 需要 付出 的 代价 是 很 大 的 ， 因 为 每 一 次 搜索 都 需要 对 全 部 训练 样本 的 网 络 啊 应 进行 多 
多 计算 。SCG 算法 是 由 Moller 所 出 的 改进 算法 ， 它 不 需要 在 每 一 次 友 代 中 都 进行 线性 搜索 ， 从 
而 避免 了 搜索 方 同 计算 的 耗 时 问题 。 其 基本 思想 采用 了 模型 信任 区 间 远 近 的 怕 理 。 

SCG 算法 也 许 比 其 他 变 柳 度 算 法 需要 更 多 的 迭代 次 数 , 但 由 于 不 项 要 在 运 代 中 进行 线性 搜 
索 ， 所 以 每 次 欠 代 的 计算 量 大 大 减 小 。SCG 算法 所 需要 的 存储 空间 与 Fletcher-Reeves 修正 算法 
的 存储 空间 相差 无 几 。 

6 ) 拟 牛 顿 算法 (Quasi-Newton algorithms ) 

牛顿 法 是 一 种 基于 二 阶 泰勒 〈Taylor) 级 数 的 快速 优化 算法 。 其 基本 方法 是 


X(KE+THD=X(E) 一 4 (KE)g(K) (4-39 ) 
式 中 ，A4( 人 为 误差 性 能 函数 在 当前 权 值 和 国 值 下 的 Hessian 定 阵 〈 二 除 导 数 ) 


4( 有 =V ROOTDurR (4-40) 
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千 赖 法 通 贡 比 必 梯度 法 的 收 敏 速度 快 ， 但 前 馈 神 经 网 络 计 算 Hessian 矩阵 是 很 复杂 的 ， 付 
所 的 代价 也 很 大 。 

有 - - 尖 基 于 牛顿 法 的 算法 不 需要 求 二 导数 ， 此 类 方法 称 为 拟 牛 顿 法 〈 或 正切 法 )， 在 算法 
中 的 Hessian 军 阵 用 其 近似 信 进 行 修 正 ， 修 正 值 被 看 成 梯度 的 数 。 

(1) BFGS 〈Boryden、RFletcher、Goldtarb 、Shanno) 算法 。 

住 公开 友 表 的 研究 成 未 中 ， 拟 牛顿 法 应 用 最 为 成 功 的 有 Boryden、FPletcher、Goldfarb 和 
Shanno 修正 算法 ， 合 称 为 BFGS 算法 。 

长 算法 虽然 收 伍 所 需 的 步 长 通 弟 较 少 ， 但 在 每 次 和 迭代 过 程 中 所 需要 的 计算 量 和 存储 空间 比 
杰 梯 度 算法 都 要 大 ， 对 近似 Hessian 矩阵 必须 进行 人 存储， 其 大 小 为 了 XP， 这 里 冯 为 网 络 的 连接 
权 和 靖 值 的 数量 。 所 以 对 于 规模 很 大 的 网 络 用 RPROP 算法 或 任何 一 种 变 梯 度 算法 可 能 好 些 ; 
而 对于 规模 较 小 的 网 络 则 用 BFGS 算法 可 能 更 有 效 。 


-一 -二 和 一 
| 过 更 | 


在 MATLAB 神经 网 络 工具 箱 中 ， 采 用 BFGS 算法 的 训练 函数 为 trainbfg。 

(2) OSS (One Step Secant) 算法 。 

由 于 BFGS 算计 在 每 次 迭代 时 比 变 榜 度 算法 需要 更 多 的 存储 空间 和 计算 量 ， 所 以 对 于 正切 
近似 法 减少 其 仓储 量 和 计算 量 是 必要 的 。OSS 算法 试图 解决 变 梯 度 法 和 拟 牛 顿 〈 正 切 ) 法 之 间 
的 矛盾， 该 算法 不 必 存 储 全 部 Hessian 矩阵 ， 它 假定 每 一 次 迭代 时 ， 前 一 次 欠 代 的 Hessian 矩阵 
有 具有 一 致 性 ， 这 样 作 的 另外 一 个 优点 是 ， 在 痢 的 搜索 方 网 进行 计算 时 不 必 计 算 矩 阵 的 道 。 

该 算 法 每 次 运 代 所 和 需 的 存储 量 和 计算 量 介 于 梯度 算法 和 完全 拟 牛 顿 算法 之 间 。 


ss 


在 MATLAB 神经 网 络 工具 箱 中 ， 采 用 OSS 算法 的 训练 画 数 为 trainoss。 


7) LM (Levenberg-Marquardt ) 算法 

LM 算法 与 拟 牛 顿 法 一 样 , 是 为 了 在 以 近似 二 阶 训练 速率 进行 修正 时 避免 计算 Hessian 矩阵 
而 设计 的 。 汉 误 甜 性 能 轴 数 具有 平方 和 误 震 (训练 前 馈 网 络 的 典型 误 状 图 数 ) 的 形式 时 ，Hessian 
拓 阵 可 以 近似 表示 为 


媚 = 7JT1 (4-41 ) 
伴 度 的 计算 表达 式 为 


1 (4-42) 
并 中 ， 吾 是 包 人 网络 误 关上 轴 数 对 权 便 和 国 值 - - 阶 导 数 的 雅 可 比 官 阵 ，e 是 网 络 的 误 莽 回 量 。 和 外 
品 比 放 时 上 柯 以 通过 标准 的 前 饥 网 络 技术 进行 计算 ， 比 Hessian 定 阵 的 计算 要 简单 得 多 。 

类 似 寺 千 天 法 ，LM 算法 用 上 述 近 似 Hessian 年 阵 近 下 陈 进 行 收 正 。 


(KE+D=x(R) 一 [7 +LA 丰 -三 e 9 


当 系 数 公 为 0 时 ， 土 式 即 为 牛顿 法 当 系数 W 的 值 很 大 时 ， 上 式 变 为 步 长 较 小 的 梯度 下 降 法 。 
牛顿 法 通 近 最 小 误差 的 速度 更 快 、 更 精确 ， 因 此 应 尽 可 能 使 算法 接近 于 牛顿 法 ， 在 每 一 步 成 功 
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的 大 代 后 《〈 误 兰 性 能 减 小 )， 使 总 减 小 ; 仅 在 进行 尝试 性 迭代 后 的 误差 性 能 增加 的 情况 下 ， 才 
使 皮 增 加 。 这 样 ， 该 算法 每 一 步 欠 代 的 误差 性 能 总 是 减 小 的 。 

LM 算法 是 为 了 训练 中 等 规模 的 前 馈 神 经 网 络 〈 多 达 数 百 个 连接 权 ) 而 提出 的 最 快速 算法 ， 
已 对 MAILAB 实现 也 是 相当 有 效 的 ， 因 为 其 矩阵 的 计算 在 MATLAB 中 是 以 函数 实现 的 ， 其 属 
性 和 在 放 症 时 变 得 非 妆 明确 。 


ha 


在 MAILAB 神经 网 络 工具 箱 中 ， 采 用 世 M 算法 的 训练 函数 为 trainlm. 


2，BP 网 络 学 习 算 法 的 比较 

对 于 一 个 给 定 的 问题 ， 到 底 采 用 哪 种 训练 方式 ， 其 训练 速度 最 快 ， 这 里 是 很 难 预 知 的 ， 风 
为 这 取决 于 许多 因 系 ， 包 括 给 定 问 题 的 复杂 性 、 训 练 样本 集 的 数量 、 网 络 权 值 和 效 值 的 数量 、 
次 着 目标 、 网 络 的 用 途 〈 如 用 于 模式 识别 还 是 函数 通 近 ) 等 。 

但 通过 实验 ， 可 以 得 出 各 种 算法 性 能 上 的 一 些 结 论 ， 通 常 对 于 包含 数 百 个 权 值 的 冰 数 通 近 
网 络 ，LM 算法 的 收敛 速度 最 快 。 如 果 要 求 的 精度 比较 高 ， 则 该 算法 的 优点 尤其 突出 。 在 许多 
情况 下 ， 洲 用 LM 算法 的 训练 函数 trainlm 可 以 获得 比 其 他 任何 一 种 算法 更 小 的 均 方 误差 。 但 当 
网 络 权 值 的 数量 增加 时 ，trainlim 的 优点 将 逐 源 变 得 不 很 明显 。 另 外 ，trainlm 对 于 模式 识别 相关 
问题 的 处 理 功 能 很 弱 , 其 存储 空间 比 其 他 算法 大 , 通过 调整 trainlm 的 存储 空间 参数 mem_reduc， 
里 然 可 以 和 在 一 定 程度 上 沽 小 对 存储 空间 的 要 求 ， 但 却 项 要 增加 运行 时 间 。 

将 RPROP 算法 的 训练 函数 trainrp 应 用 于 模式 识别 时 ， 其 速度 是 最 快 的 ， 但 对 于 函数 通 近 
问题 该 算法 却 不 是 最 好 的 ， 其 性 能 同样 会 随 着 目标 误差 的 减 小 而 变 差 。 该 算法 所 需 的 存储 空 站 
较 其 他 算法 相对 要 小 一 些 。 

变 梯 上 度 算 法 ， 特 别 是 SCG 算法 ,在 更 广泛 的 问题 中 ， 尤 其 是 在 网 络 规模 较 大 的 场合 ， 其 性 
能 部 很 好 。SCG 算法 应 用 于 图 数 遏 近 问 题 时 ， 几 乎 与 LM 算法 一 样 快 《〈 在 网 络 规模 较 大 时 比 
LM 算法 更 快 ); 而 应 用 于 模式 识别 时 几乎 与 RPROP 算法 一 样 快 ， 其 性 能 不 像 RPROP 算法 随 
看 目标 旋 差 的 减 小 而 下 降 得 那么 快 。 变 梯度 算法 对 存储 空间 的 要 求 相 对 也 低 一 些 。 

BFGS 算法 类 似 于 LM 算法 ， 其 所 需 的 存储 空间 比 LM 算法 小 ， 但 其 运算 量 却 随 网 络 的 大 
小 成 几何 级 数 拉 长 ， 因 为 对 每 次 迭代 过 程 都 必须 计算 相应 矩阵 的 逆 和 矩阵 。 

变 尝 习 计 算法 通 币 比 其 他 算法 的 速度 要 慢 很 多 ， 而 其 存储 空间 与 RPROP 算法 一 样 ， 但 在 
应用 于 茶 些 回 题 时 该 算法 仍然 很 有 用 。 在 有 些 特 定 的 情形 下 收敛 速度 慢 一 些 反 而 好 些 ， 例 如 ， 
如 所 用 收敛 速度 太 快 的 算法 ， 可 能 得 到 的 结果 是 还 达 不 到 所 要 求 的 目标 时 训练 就 提前 结束 了 ， 
会 错过 使 误差 最 小 的 点 。 


4.3.3 BP 网 络 的 局 限 性 


人 在 人 工 神经 网 络 的 应 用 中 ， 绝 大 部 分 的 神经 网 络 模型 采用 了 BP 网 络 及 其 变化 形式 ， 仙 这 
并 不 是 说 明 BP 网 络 是 尽 效 尽 美 的 ， 其 各 种 算法 依然 存在 - : 定 的 局 限 性 。BP 网 络 的 局 限 性 主要 
有 以 下 几 个 方面 。 

1 ) 学 习 率 与 稳定 性 的 矛盾 

饥 度 算法 进行 械 定 笠 习 要 求 的 竺 习 率 较 小 ， 所 以 通 第 学 习 过 程 的 收 伍 速 氏 很 慢 。 附 加 动量 
法 通 稍 比较 简单 的 柳 度 算法 快 ， 因 为 在 保证 称 定 学 习 的 同时 ， 它 可 以 采用 很 蜗 的 笠 习 率 ， 但 对 
于 许多 实际 应 用 ， 仍 然 太 慢 。 以 上 两 种 方法 往往 只 适用 于 希望 增加 训练 次 数 的 情况 。 如 果 有 足 
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跑 的 存储 空间 ， 则 对 于 中 、 小 规模 的 神经 网 络 通常 可 采用 Levenberg-Mrquardt 算法 ， 如 果 存 储 
衬 辣 有 问题 ， 则 可 采用 其 他 多 种 快速 算法 ， 例 如 对 于 大 规模 神经 网 络 采 用 trainscg 或 trainrp 更 
合适 。 

2 ) 学 习 率 的 选 笃 缺乏 有 效 的 方法 

对 于 非 线 性 网 络 ， 选 择 学 习 率 也 是 一 个 比较 困难 的 事情 。 对 于 线性 网 络 ， 我 们 知道 ， 学 习 
率 选 择 得 太 大 ， 容 易 寻 致 学习 不 稳定 ; 反之 ， 学 习 率 选择 得 太 小 ， 则 可 能 导致 无 法 忍受 的 过 长 
池 习 时 间 。 不 同 于 线性 网 络 ， 我 们 还 没有 找到 一 个 向 单 多 行 的 方法 ， 以 解决 非 线 性 网 络 选择 学 
习 率 的 问题 。 对 于 快速 如 练 算 法 ， 其 默认 参数 信 通 钟 留 有 俗 量 。 

3 ) 训练 过 程 可 能 陷于 局 部 最 小 

从 理论 上 说 ， 多 层 BP 网 络 可 以 实现 任意 可 实现 的 线性 和 非 线 性 图 数 的 映射 ， 殉 服 了 感知 
严 和 线性 神经 网 络 的 局 限 性 。 但 在 实际 应 用 中 ，BP 网 络 往往 在 训练 过 程 中 ， 也 可 能 找 不 刘 基 个 
具体 问题 的 解 ， 比 如 在 训练 过 程 中 陷入 局 部 最 小 的 情况 。 汉 BP 网 络 在 训练 过 程 中 隐 入 误差 性 
能 轴 数 的 局 部 最 小 时 ， 可 以 通过 改变 其 初始 值 ， 并 经 过 多 次 训练 ， 以 获得 全 局 最 小 。 

4) 没有 确定 隐 属 神经 元 数 的 有 效 方 法 

确定 多 层 和 神经 网 络 隐 层 的 神经 元 数 也 是 一 个 很 重要 的 问题 ， 太 少 的 隐 层 神经 元 会 导 丝 网 络 
“ 伙 适 配 ?”， 太 多 的 隐 技 神经 元 又 会 导致 “过 适 配 ”。 


4.3.4 _BP 网 络 的 MATLAB 程序 应 用 举例 


1， BP 网 络 设 计 的 基本 方法 

BP 网 络 的 设计 主要 包括 输入 层 、 隐 层 、 输 出 层 及 各 层 之 则 的 传递 丽 数 几 个 方面 。 

| ) 网 络 层 数 

大 多 数 通用 的 神经 网 络 都 预先 傅 定 了 网 络 的 层 数 ， 而 BP 网 络 可 以 包 念 不同 的 隐 层 。 但 理 
论 上 已 经 证 明 ， 在 不 限制 隐 层 节点 数 的 情况 下 ， 两 层 〈 只 有 一 个 隐 层 ) 的 BP 网 络 可 以 实现 任 
总 非 线 性 聊 射 。 在 模式 样本 相对 较 少 的 情 下 ， 转 少 的 隐 层 节点 ， 可 以 实现 模式 样本 空间 的 超 
末 面 划分 ， 些 时， 选择 两 层 BP 网 络 加 可 以 了 ; 当 模 式样 本 数 很 多 时 ， 减 小 网 络 规模 ， 增 加 一 
个 隐 层 是 必要 的 ， 但 BP 网 络 隐 层 数 一 般 不 超过 两 层 。 

2 ) 输入 层 的 节点 数 

和 输入 层 起 缓冲 仓储 规 的 作用 ， 它 接收 外 部 的 输入 数据 ， 因 此 其 节 点 数 取 决 于 输入 矢量 的 维 
数 。 比 如 ， 当 把 32X32 大 小 的 图 像 的 像 率 作为 输入 数据 时 ， 输 入 节点 数 将 为 1024。 

3 ) 输出 层 的 节点 数 

输出 层 的 克 点 数 取 雇 于 两 个 方面 ， 竹 出 数据 类 型 和 表示 二 人 关 型 所 需 的 数据 大 小 。 当 BP 网 
络 用 于 模式 分 类 时 ， 以 一 进 制 形式 来 表示 不 同 模式 的 输出 结果 ， 则 和 输出 层 的 节点 数 可 根据 待 分 
关 横 式 米 确定 。 知 议 竺 分 类 模式 的 总 数 为 六 ， 则 有 两 种 方法 确定 输出 层 的 节 扣 数 。 

中 节点 数 即 为 待 分 类 模式 总 数 严 ， 此 时 对 应 第 / 个 待 分 类 模式 的 输出 为 
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即 第 / 个 节点 输出 为 1， 其 余 输出 均 为 0。 而 以 输出 全 为 0 表示 拒 识 ， 即 所 输入 的 模式 不 属于 待 
分 类 模式 中 的 任何 一 种 模 取 。 
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@ 节点 数 为 jog， 个 。 这 种 方式 的 输出 是 严 种 输出 模式 的 二 进 制 编码 。 

4) 隐 层 的 节点 数 

一 修 共 有 无 限 隐 层 蔬 氮 的 两 层 BP 网 络 可 以 实现 任意 从 输入 到 输出 的 非 线 性 映射 。 但 对 于 
有 限 个 输入 模 却 到 输出 模式 的 映射 ， 并 不 需要 无 限 个 隐 层 节点 ， 这 就 涉及 如 何 选 择 隐 层 节 点 数 
的 问题 ， 而 这 一 问题 的 复 末 性 ， 使 得 至 今 为 上 上 ， 尚 未 找到 一 个 很 好 的 解析 式 ， 隐 层 节 点 数 往 往 
根据 前 人 设计 所 得 的 经 验 和 目 己 进行 试验 来 确定 。 一 般 认 为 ， 隐 层 节 点 数 与 求解 问题 的 要 求 、 
答 入 输出 里 元 数 多 少 都 有 直接 的 关系 。 另 外 ， 隐 层 节 点 数 太 多 会 导致 学 习 时 间 过 长 ， 而 隐 层 节 
氮 数 太 少 ， 则 容 铬 性 差 ， 识 别 未 经 学 习 样 本 的 能 力 低 ， 所 以 必须 综合 多 方面 的 因素 进行 设计 。 

对 于 用 于 模 却 识别 /分 类 的 BP 网 络 ， 根 据 前 人 经 验 ， 可 以 参照 以 下 公式 进行 设计 


妖 一 /7P; 十 几 十 G (4-44 ) 


陈 中 ,于 为 隐 层 贡 扣 数 ; 矶 为 输入 节点 数 ，mo 为 输出 节点 数 : 4 为 1 一 10 之 间 的 常数 。 

S$ ) 传输 通 数 

BP 网 络 中 的 传输 函数 通常 采用 S (sigmoid) 型 函数 

了 = (4-45 ) 
1 十 e 

在 某 些 特定 的 情况 下 ， 还 可 能 采用 纯 线性 (pureline) 函数 。 如 果 BP 网 络 的 最 后 一 层 是 sigmoid 
畏 数 ， 那 么 整个 网 络 的 输出 驶 限制 在 一 个 较 小 的 范围 内 00 一 1 之 间 的 连续 量 );: 如 果 BP 网 络 的 
最 后 层 是 pureline 国 数 ， 那 么 整个 网 络 的 输出 可 以 取 任 意 值 。 

6 ) 训练 方法 及 其 参数 选择 





及 有 其 参数 等 。 
2. BP 网 络 应 用 举例 
1) 用 于 模 陈 识别 与 分 类 的 BP 网 络 
【 例 4-9】 以 BP 神经 网 络 实 现 对 图 4-29 所 示 的 两 类 模式 的 分 类 。 
根 图 4-29 所 示 的 两 闫 模 云 可 以 看 出 ， 分 关 为 简 半 的 非 线 性 分 类 。 有 1 个 输入 回 量 ， 包 含 2 
个 输入 元 素 ; 网 基 模 式 ，1 个 输出 元 系 即 可 表示 : 可 以 以 图 4-30 所 示 的 两 层 BP 网 络 来 实现 分 类 。 
根据 图 4-29 所 示 两 闫 模式 确定 的 训练 样本 为 


-| 0 08 08 0.21 
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其 中 : 因为 BP 网 络 的 得 出 为 logsig 上 数 ， 所 以 目标 加 量 的 取 什 为 0.2 和 0.8， 分 别 对 应 两 类 模 
式 。 在 程序 设计 时 ， 通 过 判决 门限 0.5 区 分 两 类 模式 。 





图 4-29 例 4-9 待 分 类 模式 
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图 4-30 两 层 BP 网 络 


关 广 处 埋 的 问题 简单 ， 所 以 采用 最 速 下 降 BP 算法 〈taingd 训练 函数 ) 训练 该 网 络 ， 以 熟 
共 必 竺 法 的 应 用 。 

% 创 建 和 训练 BP 的 MATLAB 程序 

clear al 

狗 定 义 输入 回 量 和 目标 回 量 

P=i] 2':-1 -2 1-40f7 

T=[0.2 0.8 0.8 0.2]: 

% 创 建 BP 网 络 和 定义 训练 函数 及 参数 

net=newfft([-1 1:-] .3 日 ,人 logslg logslg tralitngd ); 

net.trainParam.goal=0.001 ; 

net.tratnParam.epochs=30U0UU0; 

% 串 练 伸 经 网 络 

|nettrl=train(net,P,T); 

% 输 出 训练 后 的 权 值 和 国 倡 

1IwW1=net.tw1 1 |}; 

b1=net.b{ 1] |} 

Iw2=net.lw{2| 

b2=net.b{2| 


BP 网络 的 雪 始 化 函数 的 默认 值 为 initnw， 该 急 始 化 国 数 的 详细 说 明 匈 第 3 章 。 在 本 例 中 将 
入 机 初始 化 权 耸 和 阅 值 ， 所 以 每 次 运行 上 上述 程序 的 结果 将 不 相同 。 当 达 不 到 要 求 时 ， 可 以 反复 
运行 以 天 程 订 ， 直 到 满足 要 求 为 止 。 其 中 的 一 种 运行 结果 如 下 

TRAINGD, Epoch Q/5000, ME 0.0242271/0.001, Gradlent 0.0402598/1e-010 


TRAINGD, Epoch 23/3000, ME 0.0238301/0.001, Oradlent 0.03943221/ le-U10 
TRAINGD, Epoch 30/5000, MoE 0.0234489/0.001, Gradient 0.0386496/le-010 


TRAINGD, Epoch 4930/3000, MoSE 0.00359304/0.001, Oradient 0.011<599/1e-U10 
TRAINGD, Epoch 49753/S000, ME 0.00356209/0.001 Gradient 0.0112003/1e-010 
TRAINGD, Epoch 9000/3000, MsE 0.00333084/0.001, Gradient 0.01113317 le-010 
TRAINGD, Maxlimum epoch reached, performance goal was not met， 


IWw |] = 
-1.3176 -0.1050 
0.3130 -1.2373 
5.0119 3.7543 
-1 .3784 -0.1387 
4.7074 -4.01950 
bj] = 
6.2780 
-2.7471 
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-3.0078 
0.3720 
LIW2 一 
-3J.]3540 -3.1972 0.4336 -2.4313 -3.4S89 
b2 = 
4.1320 
诡 莽 性 能 曲线 如 图 4-31 所 未 ， 从 曲线 上 可 以 看 出 ， 训 练 经 过 了 5000 次 食 未 达到 上 妆 求 的 | 
标 误 差 0.001， 说 明 采 用 训练 函数 traingd 进行 训练 的 收 仇 速度 是 很 慢 的 。 
最 然 串 练 的 诈 兰 性 能 未 过 到 要 求 的 日 标 族 短 ， 但 这 并 不 妨 但 我 们 以 测试 样本 对 网 络 进行 仿 惧 ， 
% 网 络 仿真 的 MATLAB 程序 
p=[1 2;-1 1;-2 1 -40] 
a2=Sim(net,p]) 
3a2=a2>0U.> 
3a2 二 


JPerformance Is 0.0183267， Goal is 0.001 
10 
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4 
10 
呈 1000 2000 3000 4000 5000 


50U0 Epochs 
图 4-31 ”误差 性 能 曲线 


结 斥 表明 可 以 完成 上 述 两 英模 陈 的 分 类 。 

2 ) 去 除 唆 声 的 BP 网 络 

【 例 4-10】 利用 BP 神经 网 络 去 除 噪声 问题 。 

在 MATLAB 神经 网 络 工具 箱 中 ， 提 供 了 26 个 大 写字 母 的 数据 征 阵 ， 利 用 BP 神经 网 络 ， 
可 以 进行 学 侍 识 列 处 理 。 

输入 训练 样本 数据 和 测试 样本 。 

% 训 练 样本 数据 点 

[AR,1sS]=prprob; 

A=Slize(AR,1); 

B=Ssl1Ze(AR,2); 

C2=SlzelTeS 1) 

多 测试 样本 数据 后 

CCM=AR(,13) 

nolsSyCharM=AR(,13)+Hrand(A ,LU0.3 

figure 

plotchar(nolsyCharM) 
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BP 网 络 训练 采样 全 训练 样本 集 ， 即 使 用 所 有 26 个 大 写字 尽 ， 测 试 样本 采样 包含 噪声 的 人 
中 M 数据 点 。 字 茧 M 和 对 应 包含 噪声 的 字母 M 图 示 如 图 4.32 所 下 。 
创建 BP 人 昼 经 网 络 ， 并 使 用 全 训练 数据 点 训练 BP 神经 网 络 。 
和 创建 BP 网 络 ， 并 使 用 数据 点 训练 网 络 
P=AR; 
工 = 了 Tv 
多 输入 技 包 含 10 个 神经 元 ,输出 层 为 C2 个 神经 元 ， 
所 和 输入、 得 出 故 都 使 用 logsig 传递 冰 数 
net_newfftminmax(P) | 10,L2].1logsig 
logslg ,tralngdx 
net.trainParam,show:=50: 
net.trainParam.1T=0.1; 





| 全 纯 -32 
het.tralnParam.jr Inc=1.04: 


net.tranParam.epochs=3U0U0: 
net.tralnParam.goal=0U.0U1: 
[net,trj=train(net,P、 TD): 


串 红 过 程 相 线 贡 [入 4-33 历 修 。 
加 代 迷 验 和 测试 丁 本 吕 [ 国 榨 验 如 
允 品 从 税 验 
A=SslIm(net'CMI): 

多 测试 丁 林 检验 
a=sIm(net.nolSyCharM ): 
弘 找 到 字 峡 所 在 位 置 
pos=tind(compet(a)== 三 1) 
we 

给 全 去 除 咯 声 后 的 字 坟 
WE 


也 从 有 可 关上 子 于 M 经 过 BP 网 络 万 ， 箱 出 结 林 旭 疯 4-34 所 全 。BP 网 络 去 除了 了 竺 村 M 于 的 


_ Performance is OUUUo98396 Coal IS 0 01 





[ 
去 1 
印 
8 10 
局 必 
oo 10 
尼 
E 
卢 103 
-一 一 nn 100 200 300 400 500 
ztopb TaImIn 536 Epochs 
妈 34-33  BPE 网 络 训练 过 程 灿 线 色 34-34 了 包 冯 上 曝 声 的 子 司 M 终 过 BP 网 络 训 练 后 的 输电 纺 刺 


) 用 于 曲线 拟 合 的 BP 网 络 
是 次 陈 必 和 中， 往往 布 王 产生 一 至 非 线 忻 的 输入 /得 出 曲线 ， 且 没有 了 明确 了 胸 贞 数 关 系 ， 合 其 
伺 经 网 络 灾 坝 明 比拟 合 ， 可 以 很 方 使 地 解决 这 一 问题 。 
【人 你 4-11】 已 刘 和 革 系统 得 出 5 萌 入 莽 隐 部 分 对 应 大 系 旭 衣 4-3 所 不 。 皮 寺 - BP 伸 绎 网 络 ， 
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完成 y = 汪 (X) 。 


填 


和 


表 4-3 数 y= 矿 (2x) 的 部 分 对 应 关系 


0. 832 -0. 423 -0. 024 IE 1. 282 3. 456 本 基本 3. 232 1. 5U4 


以 隐 层 节点 数 为 1S 的 单 输入 和 单 输出 两 层 BP 网 络 来 实现 曲线 拟 合 。 
创建 和 训练 BP 网 络 的 MATLAB 程序 。 


cjear 刘 jj; ea ， 
P=-1:0.1:0.9;， 四 
T=[-0.832 -0.423 0U. 024 0.344 1 282 3 456 4.02 3.232 2.102 1.504.. 

0.248 1.242 2.344 3.262 2.052 1.684 1.022 2.224 3.022 1.984]; 
net=mnew 娃 ([-1 1,[193 ,( 人 tanslg purelin'},traingdx' learngdmyJ: 攻 ， 
net.trainParam.epochs=23S00; 人 


net.trainParam.goal=0.001; 


nettralnParam.spow=10 5 5 

met. trainParam 1r=0. 05; 本 加 和 二 
net=trainftnaetPTD， 四 本 加 

训练 结束 如 下 。 


0 We RN MSE 11.0032/0.001 Gradient 10. 8035/ le- 000 


- 遇 复 鹤 帮 . 曲 审 


TRAINGDX， Epoch2 284/2300, ME 0. 000983867/0 001， 人 0 0077752311 e-006 
TRAINGDXK, Performance goal met. 


训练 的 误差 性 能 曲线 如 图 4-35 所 未 。 


Perormance is 0.000983867 Goal iS 0.00 1 


Training-Blue 台 o 引 -Black 
己 


直 1U0 200 


284 EPochs 
图 4-35 ”训练 的 误差 性 能 曲线 


BP 网 络 仿真 的 MAITLAB 程序 如 下 。 


P=-]1:0.1:0.9; 

T=[-0.832 -0.423 00.024 0.344 1.282 3.436 4.02 3.232 2.102 1.304.. 
0.248 1.242 2.344 3.262 2.0S2 1.084 1.022 2.224 3.022 1.984]: 

hold on 

plot(P, 工 Tr+ ); 

p=-1:0.01:0.9; 


光 0. 248 1. 242 2 344 3. 262 2. 052 1. 684 1. 022 2.224 呈 .0022 


1. 984 


- 
= 一 Rs 四 册 
2 是 机 ae 2 0 
了 忆 了 
| 呈 no 站 “ 尖 
世 四 2 机 = 站 站 。 
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RAR 
R=slimnetp); 
plot(P,R); 
hold o 寻 
由 线 拟 合 如 图 4-36 所 示 。 实 线 为 得 到 的 拟 合 曲线 ;“+” 为 训练 样本 。 从 结果 上 看 ， 可 以 对 
个 别 训 练 样本 进行 很 好 的 拟 合 ， 但 拟 合 曲线 欠 光 滑 ， 出 现 了 “过 适 配 ” 现 象 。 如 果 改 用 trainby 
圳 练 男 数 进行 训练 ， 则 曲线 拟 合 会 变 得 更 光滑 些 ， 在 此 希望 读者 自行 动手 试 一 试 。 
6 


4 


2 


-2 
-1 -0.5 0 0.5 1 


图 4-36 用 sim 函数 的 曲线 拟 合 结果 


4.4 人 径 向 基 网 络 


众所周知 ，BP 网 络 用 于 函数 逼近 时 ,， 权 值 的 调节 采用 的 是 负 梯 度 下 降 法 。 这 种 调节 权 值 的 
方法 有 其 局 限 性 ， 即 收敛 速度 慢 和 局 部 极 小 等 。 本 节 主 要 介绍 逼近 能 力 、 分 类 能 力 和 学 习 速 度 
等 方面 均 优 于 BP 网 络 的 另 一 种 网 络 径 同 基 图 数 网 络 (Radial Basis Function，RBF) 


4.4.1，” 径 回 基 上 数 网 络 模型 


人 径 癌 基 双 数 网 络 是 一 种 两 层 前 向 型 神经 网 络 ， 包 售 一 个 具有 径 向 基 函 数 神经 元 的 隐 尿 和 -一 
个 具有 线性 神经 元 的 输出 层 。 

1 答 问 基 范 数 神经 元 模型 

多 4-37 所 不 为 一 个 有 尺 个 输入 的 径 向 基 神 经 元 模型 。 

你 癌 基 冰 数 神经 元 的 传递 函数 有 各 种 各 样 的 形式 ， 但 最 常用 的 形式 是 高 斯 函数 〈radbas )。 
与 采 面 介 绍 的 神经 元 不 同 , 神经 元 radbas 的 输入 为 输入 向 量 刀 和 权 值 向 量 w 之 间 的 距离 乘 以 阔 
值 2 。 径 向 基 传 递 函 数 可 表示 为 如 下 形式 





Tadbas(P) = 区 (4-46 ) 
人 径 问 基 轩 数 的 图 形 如 图 4-37 所 示 。 


径 问 基 神 经 元 
9 
已 





| 
Q 一 radbas (| 计 一 7 


图 4-37 径 癌 基 神 经 元 模型 
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径 问 基 函 数 的 图 形 如 图 4-38 所 示 。 





3 ”0.833 
24= 一 Tadbas(7) 


图 4-38 ” 径 向 基 函 数 


从 图 4-38 中 可 以 看 出 ， 严 为 0 时 ， 径 癌 基 图 数 的 输出 最 大 值 为 1， 即 权 值 同 量 w 和 输入 癌 
蜡 己 之 间距 离 减 小 时 ， 输 出 就 会 增加 。 也 束 是 说 ， 径 回 基 田 数 对 输入 信号 在 局 部 产生 啊 应 。 攻 
数 的 输入 信号 六 靠近 图 数 的 中 央 时 ， 隐 层 和 点 将 产生 较 大 的 输出 。 由 此 可 以 看 出 这 种 网 络 具 有 
局 部 逼近 能 力 ， 所 以 径 同 基 卫 数 网 络 也 称 为 局 部 感知 场 网 络 。 浆 值 上 用 于 调整 径 向 基 神 经 元 的 
敏感 度 ， 例 如 ， 假 设 神经 元 效 值 =0.1， 那 么 对 于 任 莫 与 权 值 矢量 隶 之 间距 离 为 8.33 的 输入 六 
量 忆 ， 其 输出 都 是 0.5。 

2.， 人 径 问 基 函 数 的 网 络 结构 

径 向 基 函 数 网 络 包 括 隐 层 和 输出 层 。 输 入 信和 号 传递 到 隐 层 ， 隐 层 有 $ 个 神经 元 ， 节 点 函数 
为 高 斯 函数 ; 输出 屋 有 个 神经 元 ， 节 点 函数 通常 是 简单 的 线性 函数 。 其 结构 如 图 4-39 所 示 。 


町 入 径 疝 基层 线性 尼 





ai = radbas (TIw2 一 p 拘 ) @ = purelin(CLW ”e+ ) 
图 4-39 ” 径 阿 其 图 数 网 络 的 结构 
其 中 ,有 R 为 输入 向 量 元 素 的 数目 ，S' 为 第 一 层 神经 元 的 数目 ，S” 为 第 一 层 神经 元 的 数 日 ， ji 为 
向 量 a 的 第 7 个 元 素 ，;TW ”为 权 值 算 阵 TW ' 的 第 :个 向 量 。 
jdist| 模块 计算 输入 向 量 已 和 输入 权 值 IW5 的 行 向 量 之 间 的 距离 ， 产 生 $ 维 向 量 ， 然 后 与 
赣 值 态 相 乘 ， 再 经 过 径 向 基 传 递 函 数 从 而 得 到 第 -- 层 输出 。 第 …- 层 输出 & 可 由 下 面 语句 得 到 : 
af lj}j=radbas (netprod (dlst (net.IW 11,1p)netbfl ) 
实际 上 ， 图 数 newrbe 和 newrb 在 设计 过 程 中 已 经 包 人 台 了 这 至 细 世 ， 所 以 可 以 百 接应 用 ， 然 
后 册 通 过 sim 琢 数 得 到 网 络 的 和 输出 。 
3. 径 癌 基 邓 效 网 络 的 工作 原理 
当 输 入 回 量 加 到 了 网络 输入 问 时 ， 径 癌 基 层 的 每 个 昼 经 元 者 会 猜 出 ”个 值 ， 代 表 和 输入 辐 量 与 
神经 元 权 值 问 量 乙 间 的 接近 程度 。 
(1) 如 果 输 入 同 量 与 权 值 癌 量 相差 很 多 ， 则 生 同 基层 的 输出 接近 于 0， 经 过 第 二 层 的 线性 
神经 元 ， 输 出 也 接近 于 0。 
(2) 如 果 输 入 回 量 与 权 值 癌 量 很 接近 ， 则 径 癌 基层 的 输出 接近 于 1， 经 过 第 二 层 的 线性 仲 
经 元 ， 和 输出 全 怠 更 靠近 第 一 层 权 值 。 
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在 这 个 过 程 中 ， 如 果 上 只 有 一 个 径 同 基 神 经 元 的 输出 为 1， 而 其 他 的 神经 元 输出 均 为 0 或 者 
接近 于 0， 那 么 线性 神经 元 层 的 输出 就 相当 于 输出 为 革 的 神经 元 相对 应 的 第 二 层 权 值 的 值 。 一 
般 情 况 下 ， 不 止 一 个 径 同 基 神 经 元 的 输出 为 1， 所 以 输出 值 也 就 会 有 所 不 同 。 

下 面 解析 一 下 第 一 层 的 工作 过 程 。 

如 图 4-39 所 示 ， 第 一 层 神经 元 的 网 络 输入 为 加 权 输 入 与 相应 的 效 值 的 乘积 ， 然 后 通过 神经 
元 函数 radbas 计算 得 到 第 一 层 神 经 元 的 网 络 输出 。 其 中 ， 加 权 输 入 表示 输入 向 量 与 权 值 向 量 相 
等 ， 加 权 输 入 即 为 0， 则 第 一 层 网 络 输入 也 为 0， 那么 第 一 层 输出 必然 是 1; 如 果 神 经 元 的 权 值 
呵 量 与 输入 向 量 之 间 的 距离 恰 为 散布 常数 spread 值 , 则 加 权 输 入 为 spread, 网 络 输入 则 为 0.8325， 
那么 第 一 层 神 经 元 输出 为 0.$。 


4.4.2” 径 回 基 上 数 网 络 的 均 建 


1， 径 癌 基 函 数 网 络 的 严格 设计 

应 用 newrbe 困 数 可 以 快速 该 计 一 个 短 同 基 函 数 网 络 ， 且 使 得 说 计 误 差 为 0， 调用 方式 可 参 
游 第 3 章 newrbe 的 解 术 。 

由 newrbe 函数 构建 的 径 同 基 术 数 网 络 ， 径 癌 基层 〈 第 一 层 ) 神经 元 数 具 等 于 输入 向 量 的 个 
数 。 生 癌 基层 的 国 值 放 定 为 0.8326/spread， 目 的 是 使 得 加 权 输 入 为 二 spread 时 径 同 基层 输出 为 
0.3， 痪 信 的 设置 决定 了 每 个 径 同 基 神 经 元 对 于 得 入 同 量 产生 啊 应 的 区 域 。 例 如 ， 如 果 spread 为 
4， 每 个 径 同 基 神 经 元 对 应 那些 不 小 于 0.5 的 第 一 技 输 出， 其 输入 回 量 均 在 距离 权 值 向量 为 4 的 
区 域内 。 由 此 看 来 ，spread 应 当下 够 大 ， 使 得 神经 元 啊 应 区 域 获 盖 所 有 输入 区 域 。 

径 问 基 网 络 的 第 二 层 为 线性 人 钊 经 丈 层 ， 其 权 信 和 国人 了 的 调整 需要 满足 输出 问 量 与 期 望 值 相 
等 的 要 求 。 表 达 语 句 为 

[WwW{12,1 pf2*#[AfLones]= 工 
其 中 ，Af1)} 为 第 -- 层 输出 :WwW{2,1} 为 第 二 层 权 值 ，b{2} 为 第 二 层 闪 值 ，T 为 期 望 值 。 如 果 计 算 
第 二 层 的 权 值 和 阅 信 ， 需 要 使 得 均 方 误 关 最 小 ， 计 算 调 用 方式 如 下 
WDb=T/P;ones(l, GO)] 

其 中 ，WwWbp 包 含 了 权 值 和 国 值 的 同 量 。 

这 个 问题 中 ， 如 条 输入 /输出 样本 有 民 个 ， 问 题 有 尺 个 约束 ， 而 变量 个 数 为 R+1 个 〈R 个 神 
经 元 的 尺 个 权 值 和 一 个 国信)。 对 于 杰 量 数目 多 于 约束 条 件数 目的 线性 问题 ， 其 解 为 无 穷 多 个 。 

应用 newrbe 数 构建 一 个 零 误 差 网 络 ， 其 和 散布 第 数 Spread 的 议 置 是 一 个 关键 问题 。 如 前 
所 述 ，spread 需要 足够 大 才能 敌 闸 所 有 的 得 入 区 间 ， 但 是 如 末 spread 太 大 ， 则 每 个 神经 元 的 啊 
应 区 域 又 会 灾 叉 过 多 ， 反 而 剖 来 精度 问题 。 

2. 更 有 效 的 径 回 基 数 网 络 的 设计 

应 用 newrbe 函 数 设 计 网 络 时 ， 径 问 基 神 经 元 的 数目 与 得 入 问 量 的 个 数 相等 ,那么 在 输入 回 
量 较 多 的 情况 下 ， 则 需要 很 多 的 神经 元 ， 这 就 给 网 络 设 计 市 来 一 定 的 难度 。 函 数 newrb 则 能 
有 效 地 进行 网 络 设计 。 

用 径 丫 基 上 数 网 络 通 近 图 数 时 ，newrb 上 困 数 可 目 动 增加 网 络 的 隐 层 神经 元 数目 ， 百 到 均 方 
误差 满足 精度 要 求 或 者 神经 元 数目 达到 最 大 为 止 。 其 调用 方式 参数 第 3 章 。 

国 数 newrb 的 设计 方法 与 图 数 newrbe 类似 ,唯一 不 同 的 是 newrb 图 数 每 一 次 稍 环 具 产 生 - 
个 神经 元 ， 而 每 增加 一 个 径 同 基 神 经 元 ， 都 能 最 大 程度 地 降低 误 兰 ， 如 果 未 达到 精 虚 要 求 则 继 
续 增 加 神经 元 ， 满 足 精 度 要 求 后 则 网 络 设计 成 功 。 程 序 终 止 条 件 是 满足 精度 要 求 或 者 达 色 最 大 
神经 元 数目 。 
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必用 newrb 函数 进行 径 回 基 函 数 神 经 网 络 设 计时 ， 散 布 冲 数 是 一 个 非常 重要 的 参数 ， 后 面 
的 搓 例 将 读 示 各 布 笛 数 对 网 络 设计 的 影 啊 。 

径 辐 基 网 络 和 普通 的 前 各 网 络 有 所 不 同 ， 隐 层 神 经 元 是 径 向 基 神 经 元 而 不 是 tansig 或 者 
logsig 人 昼 经 元 ， 应 用 径 回 基 网 络 设 计 有 其 特有 的 优势 。 

(1) 党 通 的 前 同 网 络 中 sigmoid 神经 元 能 够 覆盖 较 大 的 输入 区 域 ， 但 是 普通 前 向 网 络 神经 
元 数目 在 训练 前 慰 已 经 固定 下 来 。 而 径 向 基 神 经 元 虽然 只 对 相对 较 小 的 区 域 产 生 响应 ， 但 是 在 
得 入 区 间 较 大 时 ， 可 以 适当 地 增加 径 回 基 神 经 元 来 调整 网 络 ， 从 而 达到 精度 要 求 。 

(2) 径 辐 基 函 数 网 络 的 设计 比 普通 前 向 网 络 训 练 要 省 时 得 多 。 


4.4.3 RBF 网 络 应 用 实例 

这 里 将 RBEF 网 络 结构 应 用 于 某 地 的 地 下 水 动态 模拟 与 预测 , 演示 训练 样本 集 与 检测 样本 集 
的 构建 、 原 始 数据 的 预 处 理 、 神 经 网 络 的 构建 训练 和 检测 及 结构 评价 的 整个 过 程 。 

1. 前 期 稚 备 


地 下 水 位 主要 受 潭 道 流量 、 气 温 、 饱 和 差 、 降 水 量 和 蒸发 量 等 重要 因素 的 影响 。 由 此 从 资料 中 
呈 纳 出 24 组 数据 ， 如 表 4.4 所 示 。 选 定 其 中 的 1 一 19 组 作为 训练 样本 ，20~-24 组 作为 测试 样本 。 


表 4-4 地 下 水 位 及 其 影响 因子 监测 数据 表 


14 1].0000 
1 4 U.O100 


om 
ET om 
om 
ER 和 
ET 
oem om | 


16 0.0814 
17 0.3982 
]8 U ,1858 
19 0U.0708 


20 U.0442 0U.U909 0U.12>00 0.0108 0.0725 U.0070 


21] U. 1 130 


2 3 0U.0708 
24 品 1327 


人 
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ii 


获得 有 关 地 下 水 位 的 数据 后 ， 在 用 于 训练 样本 和 测试 样本 之 前 ， 需 要 进行 归 一 化 处 理 。 
表 4-4 中 的 数据 为 已 经 归 一 化 处 理 的 数据 ， 


2， 网 络 的 创建 、 训 练 和 测试 

RBF 网 络 的 输入 层 神 经 元 个 数 取 决 于 地 下 水 位 影响 因子 的 个 数 , 由 表 4-4 可 知 ， 其 个 数 为 $。 
站 于 输出 怠 是 地 下 水 位 的 值 ， 所 以 输出 层 神经 元 个 数 为 1。 利 用 上 因 数 newrbe 创建 一 个 精确 的 
全 经 网 络 ， 坊 图 效 在 创建 RBF 网 络 时 ， 目 动 选择 隐 含 层 的 数目 ， 使 得 误 莽 为 0。MATLAB 代 
位 为 

SPREAD=1.5; 

net=newrbe(P, TSPREAD); 


其 中 , 成 为 输入 同 量 ， 了 为 目标 问 量 ， 生 们 可 从 表 4-4 中 得 到 。SPREAD 为 径 同 基 国 数 的 
分 布 密度 ，SPREAD 越 大 ， 函 数 越 平滑 ， 这 里 先 取 1.35。 由 于 网 络 的 建立 过 程 承 是 训 纤 过 程 ， 
因此 ， 些 时 得 到 的 网 络 net 已 经 是 训练 好 的 了 。 

接 下 来 对 网 络 进行 仿 芮 ， 验 证 其 预测 性 能 。 代 但 为 

y=Sslim(netP_test) 人 人 革 

其 中 ，P_test 为 网 络 的 测试 样本 ， 可 从 表 4-4 中 得 出 。 和 运行 结 果 为 


昂 二 
U.045 7 1.082> 0.37 /4 0.0052 U.1849 


经 过 到 归 一 化 处 理 ， 可 得 到 水 位 
H=-6.8$81 7.8632 6.2538 $.3947 5.8007 


同 实际 值 HO0=6.77 7.67 6.33 $.82 $.58 相 比 较 , 可 得 出 预测 误差 , 对 于 地 下 水 位 的 预报 来 说 ， 
网 络 的 币 报 误 芝 并 个 大 。 
此 外 ，SPREAD 值 的 大 小 影响 网 络 的 预测 精度 。 接 下 来 ， 分 别 在 SPREAD=2、3、4 或 5 
的 情况 下 计算 网 络 的 预报 精度 。 代 人 的 为 
Yy=Trand(4,3); 
for 1=1:4 
net=newrbe( 了 PT 工 I+]1); 
Vy(,:)=SImCnet,P_test); 
end 
plot(1:9,y(]1)-t_testb ); 
hold on 
plot(1:3,y(2,:)-t_test,T-- ); 
hold on 
plot(1:9,y(3，)-t_ test，g# ) 
hold on 
ploet(1:3,y(4,:)-t_test，.); 
hold on 
y_bp=[0.1201 -0.2S59 -0.1828 -0.1237 0.0001j]; 
plot(1:3,y_bp,s ); 
hold off 
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结果 如 图 4-40 所 示 。 可 以 看 出 ， 当 SPREAD=2 或 3 时 ， 网 络 的 预报 误差 最 小 。 因 此 ， 本 
例 中 SPREAD=2 或 3 都 可 得 到 理想 的 结 昌 。 图 中 “* ”号 表示 为 采用 BP 网 络 进 行 地 下 水 位 预 
报 的 误 天 。 





1 迪 本 才 5 
图 4-40 SPREAD 取 不 同 值 的 预报 误差 


为 了 验证 RBF 网 络 相 对 于 BP 网 络 的 优势 ， 在 本 例 中 利用 BP 网 络 对 地 下 水 位 进行 重 狐 预 
报 。 选 择 的 BP 网 络 为 SX11X1 的 结构 ， 训 练 函 数 为 trainlm。 经 过 500 次 训练 后 ， 对 网 络 进 行 
仿真 ， 并 计算 网 络 的 预测 误差 。 误 差 变 量 用 y_bp 表示 。 综 合 对 比 后 发 现 ， 对 于 预报 精度 来 说 ， 
BP 网 络 明显 不 如 RBF 网 络 , 而 且 BP 网 络 的 训练 时 间 明 显 大 于 RBF 网 络 ,， 其 训练 速度 比较 慢 。 


4.4.4 RBF 网 络 的 非 线性 涯 波 


1， 非 线 性 滤 关 

早期 的 数字 信和 号 处 理 和 数字 图 像 处 理 主 要 以 线性 滤波 器 为 主要 处 理 手段 。 线 性 滤 疲 圳 由 于 
数学 表达 式 比 较 简 单 并 且 具 有 其 他 一 些 比较 理想 的 特性 ， 所以， 实现 起 来 相对 比较 容易 。 然 而 ， 
当 信 和 号 中 存在 由 系统 非 线性 引起 的 噪声 或 非 融 期 登 加 型 噪声 时 ， 线 性 着 并 厚 便 不 能 很 好 地 工 
作 。 目 前 ， 最 优 非 线性 滤波 存在 “实时 ”问题 ， 即 一 、 滤 波 器 权 系 数 的 实时 计算 ， 二 、 非 线性 
滤波 器 的 实时 实现 。 摘 述 系统 的 非 线性 差分 方程 为 

状态 方程 ， x+ 有 TD= JCY) 

观测 方程 ， Ja+ 有 = AU 二 WO) 

其 中 ， 人 和 闫 都 是 非 线性 函数 ， WCG 和 WA 为 雯 均值 的 蝗 噪 声 序列 。 

所 谓 最 优 滤波 , 就 是 解决 从 观测 值 42) 估计 出 状态 x(a , 且 使 得 9 可 以 最 好 地 接近 x(a) 
的 问题 。RBE 网 络 具有 唯一 的 最 佳 殖 近 特 性 ， 因 此 沦 试 将 其 应 用 于 最 优 滤 兹 ， 即 利用 已 知 的 有 
样 数 据 对 非 线性 函数 作 最 优 台 近 。 由 RBF 网 络 的 输入 /输出 表达 式 可 得 严 的 估计 值 


让 
六 = 》 尼 (= 丽 T7r() (4-.47) 
一 | 


其 中 ， 厂 =[w 人 ，r= [Ri ，N 为 训练 次 数 。 接 下 来 ， 设 计 一 个 RBF 网 络 ， 使 得 它 
可 以 在 规定 的 精度 内 远近 忆 。 

2. 了 网络 妈 计 

输入 样本 为 天， 目标 回 量 为 了 ， 如 下 所 示 。 

P=|[-1:0.1:1]; 

T=[-0.9602 0.3770 0.0729 0.3771 0:6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 

-0.3930 0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.320 吉 ; 
for 1 三 ]1:5 本 本 


机 


2 
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net=newrbe( 人 上, 工 ; 
y(U)=SimGnetbP); 
end 
在 上 上面 的 代 但 中 ， 我 们 利用 RBF 网 络 的 精确 创建 图 数 newrbe， 创 建 了 一 个 准确 的 RBE 网 
络 ， 它 已 经 可 以 逼近 目标 同 量 了 。 由 于 径 同 基 图 数 的 分 布 密度 SPREAD 可 以 影响 网 络 的 精度 ， 
因此 ， 这 里 将 其 设 定 为 1、2、3、4 和 5S$， 共 个 整数 ， 观 察 它 们 对 网 络 预测 性 能 的 影响 。 
网 络 的 远近 误差 曲线 如 图 4-41 所 示 。 由 图 可 见 ， 分 布 密度 为 1 和 2 时 ， 网 络 的 通 近 放 差 比 
较 小 ， 考 虑 到 收 化 速度 和 计算 方面 的 鼠 因 ， 这 里 的 分 布 密度 选 1。 
此 时 了 网络 的 输出 结 末 为 
-0.9587 0.3671 0.1014 0.3379 0.05917 0U.0 几 3 0.4480 0.13 过 20.19712 -0.4463 -0.4904 -0.311t11 
-0.0089 0.2262 0.3160 0.3364 0.3448 ”0.2322 -0.0723 -0.2044 -U.3221] 





图 4-41 网 络 逼 近 误 差 曲线 


本 实例 的 完整 MATLAB 代码 如 下 。 


P=[-1:0.1: 了 ; 
T=[-0.9602 0.S770 0.0729 0.3771 0. 6405 0. 06000 0 4009 0.1336 -0. 2013 -0. 4344 -0. 5000 
-0.3930 0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 1 ).3201] 
多 创建 个 RBFE 网 络 ， 分 布 密度 分 唱 为 1、2、3、4、5 
for 1 一 1:9 
net=newrbe( 上 了, 工 .1); 
y()=sSlIm(netbP); 
end 
儿 绘 制 误 产 曲 线 
Pilot(1:21,y(1)-T); 
hojd on; 
plot(1:21,y(2,:)- 工 ,"*); 
hold on; 
Plot(1:21,y(3，)- 工 ,b.); 
hold on; 
plot(1:21,y(4,:)-T,Tr--); 
hold on: 
plot(1:21,y(S,)- 工 ,8-.); 
hold off; 





4.5 _GMDH 网 络 


GMDH 的 全 称 是 Group Method of Data Handling (数据 处 理 的 群 方法 )。GMDH 网 络 也 称 为 
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多 项 式 网 络 ， 它 是 前 馈 神 经 网 络 中 常用 的 一 种 用 于 预测 的 神经 网 络 。 它 的 特点 是 网 络 结构 不 固 


定 ， 和 而 且 在 划 练 过 程 中 不 断 改变 。 
4.5.1 _ GMDH 网 络 理 纶 


CMDH 网 络 的 结构 在 训练 过 程 中 是 变化 的 。 如 图 4-42 所 示 的 是 训练 后 的 一 个 比较 典型 的 
GMDH 网 络 。 





图 4-42 GMDH 网 络 结构 
该 网 络 有 4 个 输入 和 1 个 输出 。GMDH 网 络 的 输入 层 将 输入 信号 前 向 传递 到 中 间 层 ， 中 间 
技 的 每 个 神经 元 和 前 一 层 的 2 个 神经 元 对 应 ， 因 此 ， 输 出 层 的 前 一 层 〈 中 间 层 ) 肯定 只 有 2 个 
神经 元 。 
一 般 采 用 目 适 应 线性 元 件 作 为 GMDH 网 络 中 的 神经 元 ， 如 图 4-43 所 示 。 该 神经 元 的 输入 / 


2 2 
Li 三 W5L Ti 十 W4LETICET 十 Ha 十 Wo Ti 十 WILL 十 WA0 (4-48 ) 


几 4-43 GMDH 网 络 中 的 神经 元 (输入 层 神 经 元 除外 ) 

其 中 ，Z 表示 第 天 层 的 第 /个 处 理 单元 ， 且 zo =， 风 (=12,.3,4,5) 为 神经 元 的 权 值 。 
由 上 上 式 可 克 ，GMDH 网 络 中 的 处 理 单元 的 输出 是 2 个 输入 量 的 二 次 多 项 式 ， 因 此 网 络 的 每 一 层 
将 使 得 多 项 式 的 次 数 增 大 2 阶 ， 其 结果 是 网 络 的 输出 可 以 表示 成 输入 的 高 阶 (2 大 阶 ) 多 项 式 ， 
其 中 天 是 网 络 的 层 数 〈 不 含 输入 层 )。 
4.32 GMDH 网 络 的 训练 

训练 一 个 GMDH 网 络 ， 包 括 从 输入 层 开 始 构造 网 络 ， 调 整 每 一 个 神经 元 的 权 值 和 增加 网 
络 层 数 百 到 满 正 映 射精 度 为 止 。 第 一 层 的 俐 经 元 数 取 决 于 输入 信号 的 数量 ， 每 一 个 输入 信和 号 需 
要 一 个 神经 元 。 一 般 地 , 假定 网 络 仅 有 一 个 输入 , 所 以 输入 层 只 有 一 个 神经 元 。 假设 在 时 刻 神 
经 元 的 权 便 回 量 为 


T 
认 = wo 75 
和 输入 问 量 为 


人 | 
X [和 0 
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由 Widrow-Ho 企 学 习 规 则 可 知 


飞人 


Wesl 二 WAk 十 C 3 (ya 一 mk (4-49 ) 


站 
其 中 ，ym 为 神经 元 在 上 时 刻 的 目标 输出 向 量 ，C 为 学 习 速 率 ， 取 值 在 [0.1,1] 之 间 。 按 照 
上 六 束 可 以 调整 神经 元 权 全 ， 降 低 神 经 元 实际 得 出 和 目标 和 输出 之 间 的 误差 。 
以 上 计算 是 在 假定 只 有 输入 的 前 提 下 进行 的 。 从 权 值 调整 公式 可 以 看 出 ， 网 络 期 望 输出 值 
不 出 现在 每 个 输入 层 神 经 元 中 ， 并 希望 通过 训练 使 各 神经 元 都 能 达到 这 一 期 望 输出 。 对 一 个 
伸 经 元 来 说 ， 当 训练 数据 集中 每 一 个 数据 产生 的 均 方 差 之 和 seE 达到 最 小 时 ， 对 这 个 神经 元 的 训 
练 束 结 束 ， 其 权 信 予以 固定 。 当 输入 层 的 锅 经 元 伏 全 部 训练 一 遍 后 ， 训 练 停 止 。 这 时 ， 另 一 组 
数据 〈 通 常 称 为 选择 数据 ) 被 加 到 神经 元 上 ， 并 计算 相应 的 ea 。 对 那些 eg 小 于 浆 值 的 神经 元 ， 
如 放 入 下 -: 层 ,而 其余 覃 经 元 则 被 伟人 寞 ， 同 时 记 孙 每 一 层 伸 经 元 训练 过 程 中 产生 的 最 小 *e 。 若 
当前 层 在 训练 过 程 中 产生 的 最 小 5E 小 于 前 一 层 时 《〈 它 表示 网 络 精度 得 到 提高 )， 驶 产生 一 个 新 
的 神经 元 层 ， 这 一 层 中 的 神经 元 数 取 决 于 上 一 层 中 体 留 的 伸 经 元 数 ， 然 后 对 新 的 神经 元 层 进 行 
训练 选 择 ， 而 保持 已 训练 的 神经 元 层 不 变 ， 这 一 过 程 一 直 进 行 到 不 再 减 小 为 止 。 这 时 ， 取 
前 一 层 神经 元 中 误 关 最 小 的 神经 元 的 输出 作为 网 络 输出 。 当 新 的 神经 元 层 只 有 1 个 神经 元 ， 且 
诅 层 的 seE 小 于 前 一 计时 ， 这 一 伸 经 元 怠 作 为 输出 神经 元 。 输 出 神经 元 确定 以 后 ， 要 对 网 络 进 行 
整理 ， 所 有 与 输出 神经 元 无 御 接 或 间接 联系 的 神经 元 都 和 被 舍 弃 ， 仅 留 下 那些 与 输出 有 关 的 神经 
元 。 图 4-42 即 是 一 个 训练 结束 后 的 GMDH 网 络 。 


4.5.3 ”基于 GMDH 网 络 的 预测 


一 般 来 说 ， 所 有 的 神经 网 络 均 可 用 于 预测 。 但 是 ， 对 于 -- 般 的 前 馈 网 络 来 说 ， 在 网 络 结构 
建 记 以 后 ， 其 结构 〈 神 经 元 层 数 及 每 层 神 经 元 个 数 )》 都 是 固定 的 ， 在 训练 过 程 中 不 会 有 神经 元 
的 增加 或 减少 。 因 此 一 个 网 络 的 性 能 好 坏 与 事前 傅 定 的 圾 网 络 结构 是 介 合 适 有 很 大 关系 。 

与 此 不 同 的 是 ，GMDH 网 络 的 结构 是 在 训练 中 动态 确定 的 。 在 训练 过 程 中 ， 网 络 的 神经 元 
层 数 厅 断 增 加 ， 每 增加 一 层 就 增加 一 些 新 的 神经 元 ， 而 那些 性 能 不 好 的 神经 元 则 被 舍弃 ， 因 而 
每 一 层 中 的 神经 元 数 也 是 可 变 的 。 

直面 是 训练 一 个 用 于 预测 的 GMPH 网 络 的 步骤 。 

(1) 数据 预 处 理 。 包 括 数据 规范 化 和 除去 数据 中 的 静止 直流 成 分 。 习 惯 上 ， 对 于 已 有 的 输 
入 /输出 样本 ， 在 进行 神经 网 络 的 训练 以 前 ， 首 先进 行 归 一 化 处 理 。 

(2) 决定 网 络 的 输入 信号 数 。 对 于 预 训 ， 需 要 用 到 半 个 过 去 输出 值 。 如 采 南 要 ，7 的 值 可 
以 通过 计算 相关 系数 确定 。 

(3) 将 实验 数据 分 成 训 绽 样本 和 预测 样本 。 

(4) 建立 输入 神经 元 层 。 神 经 元 数 与 输入 信号 数 有关。 对 每 个 输入 信和 号， 都 有 一 个 神经 
元 与 之 对 应 。 因 此 ， 相 应 的 神经 元 数 为 C? 。 

(0$) 将 昼 经 元 权 值 的 杞 始 便 设 为 0。 

(6) 将 训练 数据 组 作用 于 输入 层 的 每 一 个 神经 元 。 在 上 时刻 取 yi =12 作为 输入 信 
由， 中 为 期 望 输 出 ， 计 算 每 一 神经 元 的 输入 误差 ， 并 修正 其 权 值 和 均 方 误 状 和 ， 当 均 方 着 和 大 
于 上 一 循环 计算 值 时 ， 训 练 停止 。 

(7) 输入 选择 数据 ， 计 算 每 一 神经 元 的 输出 均 方 送 。 根 据 差 值 确定 一 个 国人 ， 选 择 方 兰 小 
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于 国 值 的 神经 元 作为 下 一 层 神 经 元 。 

(8) 当 本 层 最 小 均 方 状 大 于 前 一 层 神经 元 的 最 小 均 方 兰 时 或 本 层 仅 有 一 个 神经 元 时 ， 侣 上 上 
训练 过 程 。 如 果 训 练 是 由 于 最 小 方 送 偏 大 而 停止 的 ， 则 将 前 一 层 神 经 元 作为 输出 层 ， 并 重新 整 
理 网 络 ; 若 训 练 是 因 本 层 仅 有 一 个 神经 元 而 停止 的 ， 且 本 次 方差 小 于 前 一 层 时 ， 则 以 本 层 神 经 
元 作为 输出 层 并 重新 整理 网 络 。 所 谓 重 新 整理 是 指 舍弃 那些 与 输出 神经 元 没有 联系 的 神经 元 。 

(9) 利用 评价 数据 组 检查 训练 好 的 网 络 性 能 。 评 价 数 据 组 可 以 是 上 述 样本 数据 和 预测 数据 
的 结合 ， 也 可 以 是 一 组 全 新 的 数据 。 采 用 全 新 数据 组 可 以 在 更 广泛 的 基础 上 检查 网 络 性 能 。 

神经 网 络 工具 箱 没 有 为 GMDH 网 络 提供 有 关 的 函数 工具 ， 因 此 ， 只 有 通过 MAILAB 的 数 
党 计算 功能 来 实现 以 上 算法 。 


2 2 下 本 1 
Ti 本 si 








汕 5 蕉 目 组 织 神 经 网 络 及 MATLAB 程序 


肖 面 的 芋 下 讲述 的 都 是 在 旭 练 过 程 中 及 用 有 教师 学 习 方 式 的 神经 网 络 模型 。 这 种 学 习 方 式 
企 训 练 过 程 中 ， 需 要 给 网 络 捉 供 期 望 输出 ， 以 便 根据 期 望 输出 来 调整 网 络 的 权重 ， 使 得 实际 输 
出 和 期 望 输出 尽 可 能 地 接近 。 而 本 章 要 讲 的 目 组 织 神经 网 络 是 一 类 采用 无 教师 学 习 方 式 的 神经 
网 络 模型 。 它 无 顷 期 望 输出 ， 只 是 根据 数据 样本 进行 和 学习， 并 调整 自身 的 权重 以 达到 训练 的 月 
的 ， 这 也 走 目 组 织 名 称 的 由 来 。 目 组 织 伸 经 网 络 的 学 习 规 则 大 都 采用 竞争 型 的 学 习 规 则 ， 关 于 
亚 委 型 学习 规则 的 理论 ， 将 和 在 $.1 市 会 有 详细 的 介绍 及 举例 说 明 。 除 了 学 习 规 则 是 以 癌 争 形 规 
则 为 主 以 外 ， 目 组 织 神 经 网 络 的 络 构 也 和 十 不 同 的 ， 有 一 维 输 出 层 的 、 二 维和 输出 层 的 、 帘 有 层 反 
货 的 等 。 模 型 个 同 ， 相 应 的 更 争 型 学 习 守 法 也 有 变化 ， 本 章 会 一 一 介绍 。 


5.1 上 自 组 织 竞争 型 神经 网 络 


范 秆 型 利 经 网 络 是 基于 无 教师 学 习 方 法 的 和 神经 网 络 的 一 种 重要 头 型 ， 它 经 音 作 为 基本 的 网 
络 形式 ， 构 成 其 他 一 些 其 有 目 组 织 能 力 的 网 络 ， 如 目 组 织 了 映射 网 络 、 目 适应 共振 理论 网 络 、 学 
习 问 量 量化 网 络 等 。 

生物 神经 网 络 和 存在 一 种 侧 抑 制 现象 ， 即 一 个 神经 细胞 兴奋 后 ， 通 过 它 的 分 文 会 对 周围 其 他 
镍 经 细胞 产生 抑制 ， 这 种 抑制 使 神经 细胞 之 则 出 现 竞 争 : 在 开始 阶段 ， 各 神经 元 对 相同 的 输出 
有 具有 相同 的 啊 应 机 会 ， 但 产生 的 兴 备 程度 不 同 ， 其 中 兴 香 最 强 的 一 个 昼 经 细胞 对 周围 神经 细胞 
的 抑制 作用 也 最 路 ， 从 而 使 其 他 神经 元 的 兴 香 程度 得 到 最 大 强度 的 抑制 ， 而 兴 香 程度 最 强 的 神 
经 细胞 却 “ 战 胜 ” 了 其 他 和 神经 元 的 抑制 作用 而 甩 箱 而 出 ， 成 为 竞 委 的 胜利 痢 ， 并 因为 获胜 其 兴 
得 的 程度 得 到 进一步 加 强 ， 正 所 请“ 胜 兰 为 王 ， 败 者 为 起 "。 竞 争 型 利 经 网 络 在 学 习 筑 法 上 ， 
模拟 了 生物 神经 网 络 中 神经 元 之 间 的 兴 香 、 抑 制 与 竞争 的 机 制 ， 进 行 网 络 的 学 习 与 训 疆 。 


5$.1.1 ， 觉 争 型 神经 网 络 模型 


芝 秆 型 昼 经 网 络 模型 如 图 S-1 所 不。 

可 以 看 出 竞争 型 神经 网 络 为 单 层 网 络 。|ndist|| 的 输入 为 输入 向 量 P 和 输入 权 值 向 量 IW ， 
其 输出 为 8 X1 的 列 向 量 ， 列 向 量 中 的 每 个 元 素 为 输入 向 量 了 和 输入 权 值 向 量 ITW 距离 的 负数 
Cnegative)， 在 神经 网 络 工 具 箱 中 主要 以 距离 遇 数 negdist 进行 计算 。 








二 


ml 为 竞争 层 传输 函数 的 输入 ， 其 值 为 输入 向 量 忆 和 输入 权 值 向 量 ITW 距离 的 负数 与 阔 值 如 
之 和 。 如 果 所 有 的 阔 值 向 量 为 0， 则 当 输入 向 量 P 和 输入 权 值 向 量 ITW 相等 时 ， 吕 为 最 大 值 0。 
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对 于 中 最 大 的 元 素 ， 竞 争 层 传输 函数 输出 1 ( 即 竞争 的 “获胜 者 ”输出 为 1)， 而 其 他 元 
系 均 和 输出 0。 如 果 所 有 的 值 向 量 为 0， 则 当 神 经 元 的 权 值 向 量 接近 和 输入 向量 时 ， 它 在 天 各 元 
系 中 的 负 值 最 小 ， 正 值 最 大 ， 从 而 赢得 竞争 ， 对 应 的 输出 为 1。 


”在 MAILAB 工具 箱 中 ， 创 建 鄞 争 型 神经 网 络 的 函数 是 newc。 瑟 本 


1 
上 0 了 


5.1.2” 苋 委 型 神经 网 络 的 学 局 


{1，、Kohonen 权 值 学 习 规 则 
鄞 委 型 神经 网 络 按 Kohonen 学 习 规 则 对 获胜 神经 元 的 权 值 进行 调整 。 假 若 第 :个 神经 元 获 
胜 ， 则 输入 权 值 向 量 的 第 : 行 元 素 〈 即 获胜 神经 元 的 各 连接 权 ) 按 下 式 进 行 调整 


|TW(C) = TIWCKC-D+CLPDO) 一 IWCGE 一 TU] (S-1 ) 


而 其 他 神经 元 的 权 值 不 变 。 

Kohonen 尝 习 规则 通过 输入 回 量 进行 神经 元 权 值 的 调整 ， 因 此 在 模式 识别 的 应 用 中 是 很 有 
用 的 。 通 过 和 学习， 那些 最 靠近 输入 回 量 的 神经 元 权 值 回 量 得 到 修正 ， 使 之 更 靠近 输入 向 量 ， 其 
结 末 是 获胜 的 神经 元 在 一 次 相似 的 输入 回 量 出 现时 ， 获 胜 的 可 能 性 会 更 大 ， 而 对 于 那些 与 输入 
问 量 相差 很 远 的 神经 元 权 值 癌 量 ， 获 胜 的 可 能 性 将 变 得 很 小 。 这 样 ， 当 经 过 越 来 越 多 的 训练 样 
本 竺 习 后 ， 每 一 个 网 络 层 中 的 神经 元 权 值 癌 量 很 快 被 调整 为 最 接近 某 一 类 输入 同 量 的 值 。 最 终 
的 结果 是 ， 如 宁 神 经 元 的 数量 足够 多 ， 则 具有 相似 输入 同 量 的 各 类 模式 作为 输入 辐 量 时 ， 其 对 
应 的 神经 元 输出 为 1 而 对 于 其 他 模 陈 的 输入 问 量 ， 其 对 应 的 神经 元 输出 为 0。 所以， 竞争 型 
网 络 县 有 对 输入 回 量 进行 学 习 分 类 的 能 力 。 


| 运 杰 | 


2.， 国 值 学 习 规 则 

范 征 型 神经 网 络 的 一 个 局 限 性 是 ， 茶 些 神 经 元 可 能 永远 也 派 不 上 用 场 ， 换 名 话说 ， 某 些 神 
经 元 的 权 值 同 量 从 一 开始 束 远 离 所 有 的 得 入 问 量 ， 从 而 使 得 该 神经 元 个 管 进行 多 长 的 训练 ， 也 
永远 不 会 电 得 竞 委 。 这 上 绎 伸 经 元 称 之 为 “ 死 伸 经 元 ”， 筷 们 实现 不 了 任何 有 用 的 男 数 映射 。 

为 了 避免 这 一 现象 的 及 生 ， 对 那 芭 很 少 鸡 胜 《〈 甚 至 从 来 不 兽 获 胜 ) 的 神经 元 赋 以 较 大 的 
值 ， 而 对 那些 丝 贡 获胜 的 神经 元 赋 以 较 小 的 值 。 正 的 阀 信 与 距离 的 负 值 相 加 ， 使 获胜 很 少 的 
伸 经 元 竞争 层 传 输 函 数 的 输入 吏 像 获胜 的 神经 元 一 样 。 这 一 过 程 融 像 人 们 同情 弱者 一 样 ， 表 现 
出 一 个 人 的 “民心 ”。 

这 一 过 程 的 实现 ， 南 要 用 到 和 昼 经 元 输出 站 量 的 平均 值 ， 它 等 价 于 每 个 神经 元 输出 为 1 的 昌 
分 比 ， 亚 然 ， 经 章 获 胜 的 利 经 元 ， 其 输出 为 1 的 百分比 大 。 


rr 


在 MATLAB 工具 箱 中 ，learncon 函数 用 于 进行 阅 值 的 修正 。 


EL。 .本 er 。 gm rm -et 。 -reg 。 -me EL， -UL 。。 ge 。 rr。 qi。 er 。 gg。 rm。 gm eg -air 。 im。 me 。 cm。 -eng 。 me。 ee ii 


对 学 : 习 畏 数 learncon 进行 交 值 修正 时 ， 神 经 元 输出 同 量 的 平均 值 越 大 ， 其 “良心 ” 值 越 大 ， 
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所 以 元 “民心 ”获得 的 国信 束 小 ， 而 让 那些 不 经 和 营 获 胜 的 神经 元 的 阔 值 逐渐 变 大 。 其 算法 如 下 
c(K) 三 十 一]Xc(K 一 D+Irxa(k 一 了 (S-7 
(UK) =expU 一 log(c(W) 计 一 PK 一 了 (S-3 ) 
去 中 ，c 为 “民心 ” 值 ;， 4 为 神经 元 输出 的 平均 值 ，Ir 为 学 习 率 。 

一 般 将 learncon 的 学 习 率 设置 成 默认 值 或 比 learnk 的 学 习 率 小 的 值 ， 使 其 在 运行 过 程 中 能 
够 较 精 人 确 地 计算 神经 元 的 输出 平均 值 。 

结 朱 那 芭 不 经 各 产生 啊 应 的 神经 元 的 浆 值 相对 于 那些 经 溃 产 生 响 应 的 神经 元 ， 其 闪 值 不 断 
增 大 ， 使 其 产生 啊 应 的 输入 空间 也 逐渐 增 大 ， 即 对 更 多 的 输入 加 量 产生 响 应， 最 终 各 神经 元 对 
竹 入 回 量 产生 啊 应 的 数目 大 致 相等 。 

这 桩 做 有 了 两 氮 好 处 。 

(1) 如 宋 东 个 神经 元 因为 远离 所 有 的 输入 回 量 而 始终 不 能 在 竞争 中 获胜 ， 则 其 阔 值 会 变 得 
越 来 越 大 ， 使 其 终究 可 以 获胜 。 当 这 一 情况 出 现 后 ， 它 将 逐渐 癌 输 入 问 量 的 某 : 一 类 聚集 ，- :日 
伸 经 元 的 权 什 徘 近 输入 辐 量 的 菜 一 类 模式 时 ， 访 神经 元 将 经 党 获胜 ， 其 阔 值 将 逐 源 减 小 到 0， 
这 样 吏 解 雇 了 “死神 经 元 ”的 问题 。 

(2) 学习 图 数 learncon 强迫 每 个 神经 元 对 输入 回 量 的 分 类 白 分 比 大 致 相同 ， 所 以 如 果 输 入 
空 辐 的 茶 个 区 起 比 石 外 一 个 区 域 聚集 了 更 多 的 输入 同 量 ， 那 么 输入 同 量 密度 大 致 的 区 域 将 吸引 
更 多 的 神经 元 ， 从 而 获得 更 细 的 分 类 。 


5.1.3” 萝 刍 型 神经 网 络 存 在 的 问题 


竞争 型 神经 网 络 对 于 模式 样本 本 身 具 有 较 明 显 的 分 类 特征 ， 它 可 以 对 其 进行 正确 的 分 类 ， 
网 络 对 同一 类 或 相似 的 输入 模式 具有 较 稳 定 的 输出 响应 。 但 也 存在 一 些 问题 。 

(1) 当 学 习 模 式样 本 本 吴 杂 乱 无 蔓 ， 没 有 明显 的 分 类 特征 时 ， 网 络 对 输入 模式 的 响应 呈现 
振荡 的 现象 ， 即 对 同一 类 输入 模式 的 咖 应 可 能 激活 不 同 的 输出 神经 元 ， 从 而 不 能 实现 正确 的 分 
类 。 汉 各 类 模式 的 特征 相近 时 ， 也 会 出 现 同样 的 情况 。 

(2) 在 权 值 和 靖 值 的 调整 过 程 中 ， 学 习 率 的 选择 在 收敛 速度 和 稳定 性 之 间 存 在 了 矛盾， 而 不 
像 前 面 介 绍 的 其 他 学 习 算 法 , 可 以 在 刚 开 始 时 采用 较 大 的 学 习 率 ,而 在 权 值 和 阔 值 趋 于 稳定 时 ， 
采用 较 小 的 学 习 率 。 竞 争 型 神经 网 络 在 增加 新 的 学 习 样 本 时 ， 对 权 值 和 阔 值 可 能 需要 做 比 前 一 
次 更 大 的 调整 。 

(3) 网 络 的 分 类 性 能 与 权 值 和 浆 值 的 初始 值 、 学 习 率 、 训 练 样本 的 顺序 、 训 练 时 间 的 长 短 
(训练 次 数 ) 等 都 有 关系 ， 而 且 前 还 没有 效 的 方法 对 各 种 因素 的 影响 进行 评判 。 

(4) 在 MALLAB 神经 网 络 工 具 箱 中 ， 以 函数 trainr 进行 竞争 型 神经 网 络 的 训练 ， 用 户 只 能 
限定 划 练 的 最 长 时 间或 圳 练 的 最 大 次 数 ， 以 此 终止 训练 ， 但 终止 训练 时 网络 的 分 类 性 能 究竟 如 
何 ， 没 有 明确 的 评判 指标 。 
$.1.4” 莞 争 型 神经 网 络 的 MATLAB 程序 

竞争 型 神经 网 络 适 用 于 具有 明显 分 类 特征 的 模式 分 类 。 其 MATLAB 仿真 程序 设计 主要 包 
括 如 下 。 

(1) 创建 竞争 型 神经 网 络 。 首 先 根据 给 定 的 阿 题 确定 训练 样本 的 输入 向 量 ， 当 不 足以 区 分 
各 类 模式 时 ， 应 想 办 法 增加 特征 值 ;， 其 次 根据 模式 分 类 数 确定 神经 元 的 数目 。 
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(2) 训练 网 络 。 训 练 最 大 次 数 的 默认 值 为 100， 当 训练 结果 不 能 满足 分 类 要 求 时 ， 可 和 芝 试 
增加 训练 的 最 大 次 数 。 
(3) 以 铀 试 样本 进行 仿 其 。 
【 例 S-1】 利 用 竞争 层 网 络 对 样本 数据 进行 分 类 。 
本 例 中 待 分 类 的 样本 数据 由 nngenec 函数 随机 产生 ， 即 
P=nngenc(rand,class,numustd); 
其 中 ， 参 数 class 表示 样本 数据 的 类 别 个 数 。 然 后 利用 newec 冰 数 建 记 竞争 技 网 络 
net=newc(range:class,klrclr); 
其 中 ，class 是 数据 类 别 个 数 ， 也 是 竞争 层 神 经 元 的 个 数 ; klr 和 clr 分 别 是 网 络 的 权 值 学 习 速率 
和 阔 值 学 习 有 速率。 竞争 层 网 络 在 训练 时 不 需要 目标 和 输出， 网络 通过 对 数据 分 布 特性 的 学 习 ， 目 
动 将 数据 划分 为 指定 类 别 数 。 网 络 的 训练 语句 如 下 《其 中 ， 默 认 的 训练 函数 为 trainr ) 
net=train(net, 了 ); 


在 对 训练 好 的 网 络 进行 仿真 时 ， 网 络 的 输出 为 单 值 矢量 组 ， 为 了 观察 方便 ， 一 般 要 将 音 但 
矢量 组 转化 为 下 标 抢 阵 的 形 却 

Y=SlmCnet 卫 ); 

Y1=vec2ind(Y ); 
本 例 完 整 的 MATLAB 程序 如 下 。 
% 产 生 梓 本 妆 据 P，P 中 包括 三 关 基 30 个 二 维 矢 量 - ee 
range=[-1 1;-1 ] 人 时 本 En 2 
class= 当 属 加 ER 人 有 ER 
num=I0 
0 
P=nngenc(range,classnurmmust 人 WE 0 RN 


机 出 宪 本 坟 所 分 国 Le RE 


吃 建 立 将 展 网 络 8 ES ns 有 ee 1 有 人 
cc0.01 让 
net=newc(range,class krclD; SU | 

多 对 网 络 进行 训练 IE 

net.trainParam. epochs=5; 2 人 RE 
net=train(netP); ES 人 
% 夯 出 竞争 良 神 经 元 权 什 RE 
WwW=net.lw{11 和 全 有 0 Ra 
hold om “二 人 二 加 
title(' 5 及 Weights 站 四 人 加 

2 利用 原始 样本 数据 对 网 络 进行 仿 真 ， 

Y=Slmnet, 卫 ); 

YL1=vec2lind(Y ) ; 

% 用 不 同 符号 标 出 数据 分 类 结 


fgure; 


for 1=1:30 
二 YLOD== 
plot(P( | ,了 )， P(2; 1， 综 ! ,Imarkersize' 0 
elseif Y1(G)== 本 
plot(P(] 和 攻 扣 和 ， 中 Wall 0 
else 


piot(P( PC2 间 光 人 0 
人 二 
old on: 
end 
axls([-1.5 1.3 -1.3 1.5]); 
titte(Cclass 1:# class 2:++ class 3:X); 
% 利 用 一 组 新 的 输入 数据 检验 网 络 和 
pP=[-0.4 -0.4:-0.1 0.9]: 
y=Slmtnet,p); 
y]1=vec2lind(y) 


窗口 显示 结果 为 
TRAINR, Epocho3 
TRAINR, Epoch55 
TRAINR, Maximum epoch reached. 


程序 运行 结果 如 图 $-2 和 图 $-3 所 示 。 在 图 $-2 中 ， 待 分 类 的 样本 数据 用 星 号 标志 ， 网 络 
训练 完毕 后 的 竞争 层 神经 元 权 值 由 圆圈 标注 。 在 图 $-3 中 ， 己 经 划分 好 的 三 类 数据 分 别 用 星 号 、 
加 号 和 “X ”符号 标注 。 


Input data & Weights 





-1.5 -1 -0.5 0 0.5 1 1.5 
图 S-2” 待 分 类 的 样本 数据 和 权 值 


CIassS 1* ClasSs 2:+ ClaSsS 3:X 





-1.5 -1 -0.5 0 0.5 1 1.5 


图 S$-3 网 络 分 类 结果 





MATLAB 神经 网 络 仿 真 与 应 用 


【 例 5-2】 以 竞争 型 昼 经 网 络 完成 如 图 5$-4 所 示 的 三 类 模式 的 分 类 。 
0.1961 | 0.1961 | 0.9806 
| 09806 和 |o.9806 | - sww 
| 0.9806 =- 0.5812 =- 0.8137 
| 一 0.1961 和 | -08137 -| -5 | 
图 5-4 中 的 三 英模 到 从 它们 在 二 维 平 面 上 的 位 置 特征 看 ， 具 有 明显 的 分 类 特征 ， 可 以 以 竞 
争 型 神经 网 络 完成 其 分 基 。 





图 $-4 待 分 类 模式 


本 例 的 MATLAB 程序 如 下 。 


clear al 

狗 定 义 输入 问 量 

PbP=|[-0.1961 0， 1961 0.9800 0.98006 -0. 5812 -人 8137: 
0.9806 0.9806 0.1961 -0.1961 -0.8137 -0. S812]; 

和 创建 竞争 型 网 络 

net=newc([-1 1-] ] 吉 3); 

钨 训练 神经 网 络 

net=train(Onet, 忆 ); 

名 定义 待 测试 样本 输入 回 量 

p=[-0.1961 0.1961 0.9806 0.9806 -0.3812 -0.8137; 
0.9806 0.9806 0.15901 -0.1961 -0.8137 -0.3812]， 

钨 网 络 仿真 

y=SlIm(Cnet,p); 

久 和 输出 仿真 结 傈 

Yyc=vec2lnd(y) 


仿 呐 朱 为 
yc = 
2 2 1 1 3 3 
结果 表明 很 好 地 完成 了 分 头 。 


5.2 ” 自 组 织 特征 映射 神经 网 络 


自 组 织 特 征 有 映射 网 络 也 称 为 Kohonen 网络， 或 者 称 为 Self-Organizing Feature Map (SOML) 
网 络 , 它 是 由 芬兰 学 者 Teuvo Kohonen 于 1981 年 提出 的 。 该 网 络 是 一 个 由 全 连接 的 神经 元 阵列 
组 成 的 无 教师 自 组 织 、 上 自学 习 网 络 。Kohonen 认为 ， 处 于 衬 闻 中 不 同 区 坟 的 利 经 元 有 人 不同 的 分 
十 ， 当 一 个 神经 网 络 接受 外 界 输入 模式 时 ， 将 会 分 为 不 同 的 反应 区 域 ， 各 区 域 对 输入 模 却 具有 
不 同 的 啊 应 特性 。 
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$.2.1 ”特征 了 映射 网 络 的 模型 
特征 聊 射 网 络 绪 构 如 图 $-$ 所 示 。 


竞争 层 


输入 后 





图 $5-5 ”特征 台 射 网 络 结构 


特征 映射 网 络 的 一 个 典型 特性 不是 可 以 在 一 维 或 二 维 的 处 理 单 元 阵列 上 ， 形 成 输入 信号 的 
特征 拓扑 分 布 ， 因 此 特征 映射 网 络 具 有 抽取 输入 信号 模式 特征 的 能 力 。 特 征 映 射 网 络 一 般 只 包 
含有 一 维 阵 列 和 二 维 阵列 ， 但 也 可 以 推广 到 多 维 处 理 单元 阵列 中 去 。 下 面 只 讨论 应 用 较 多 的 一 
维 阵 列 。 特 征 陨 射 网 络 模型 由 以 下 4 部 分 组 成 。 

@ 处 理 单元 阵列 。 用 于 接收 事件 输入 ， 并 且 形 成 对 这 些 信号 的 “判别 图 数 ”。 

@ 比较 选择 机 制 。 用 于 比较 “判别 函数 ”， 并 选择 一 个 具有 最 大 轴 数 输出 全 的 处 理 单 元 。 

@ 局 部 互 连 作 用 。 用 于 同时 激励 航 选 择 的 处 理 单元 及 其 最 邻近 的 处 理 单 元 。 

@ 目 适 应 过 程 。 用 于 修正 被 激励 的 处 理 单 元 的 参数 ， 以 增加 其 对 应 于 特定 簿 入 “判别 函 

数 ”的 输出 值 。 

假定 网 络 输入 为 和 ER ， 输 出 神经 元 ;与 输入 单元 的 连接 权 值 为 丽 ,sR ， 则 输出 神经 元 

; 的 输出 为 ;为 


0 三 妊 , 冬 (5-4 ) 


7 


网 络 实际 具有 响应 的 输出 单元 为 & ， 访 神经 元 的 确定 是 通过 “ 顾 镍 通 号 ”的 部 争 机 制 得 到 


区 
以 上 两 陈 可 修 正 为 
0i 二 | 亚 和 io ， 作 = ， (CA = maxtoij 一 2 
E 5; -一 】 


其 中 ，W); 为 输出 神经 元 关 和 输入 神经 元 j 之 间 的 连接 权 值 。 交 为 输入 神经 元 的 输出 。CCOD) 
为 非 线 性 函数 ， 部 
4 >A 


U ft< 
GT(f) = GUN) Us 和 1 和 4 ( 5- 日 ) 


2 为 一 个 很 小 的 正 数 ， 天 为 系数 ， 它 与 权 值 及 横向 连接 有 关 。=”; 为 与 处 理 单 元 相 天 的 处 
理 单元 集合 ， ou 称 为 浮动 冰 信 图 效 。 
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5.2.2 ”特征 映射 网 络 的 学 习 


竺 征 映 射 的 学 习 算 法 过 程 如 下 。 
(1) 已 始 化 。 对 六 个 输入 神经 元 到 输出 神经 元 的 连接 权 值 赋予 较 小 的 权 值 。 选 取 输 出 神经 
元 j/ 个 “邻接 神经 元 ”的 集合 *) 。 其 中 ，” 六 0) 表示 时 刻 上 =0 的 神经 元 六 的 “邻接 神经 元 ”的 
集合 ，5jD) 表示 时 刻 ! 的 “邻接 神经 元 ”的 集合 。 区 域 $j(1D) 随 着 时 间 的 增长 而 不 断 缩小 。 
(2) 提供 新 的 输入 模式 天 
03) 计算 欧 氏 距离 4 ， 即 输入 样本 与 每 个 输出 神经 元 7 之 间 的 距离 。 
AN 


》 上 OO-wO 


:一 ] 


dj = 人 | 攻 - 丈 咱 = (S-7 ) 





并 计算 出 一 个 具有 最 小 距离 的 神经 元  ， 即 确定 出 某 个 单元 上 ， 使 得 对 于 任意 的 卫 ， 都 有 
4 =min(e ) 


(4) 给 出 一 个 周围 的 领域 S (D 。 
(5) 按照 下 式 修正 输出 神经 元 六 及 其 “邻接 神经 元 ”的 权 值 。 


w+D=wO+IOOD-wrG 


其 中 ，7 为 一 个 增益 项 ， 并 随时 间 变 化 逐渐 下 降 到 零 ， 一 般 取 





1 、 / 
一 一 吕 一 U.2| 工 一 
77(1) 或 11C) 0 [ Ta 


(6) 计算 答 出 Cu 。 


ok = min| -全 ， | 





其 中 ，Jj 汪 GO) 一 般 为 0 一 1 函数 或 其 他 非 线性 函数 。 

(7) 提供 痢 的 和 尝 习 样 本 来 重复 上述 学 习 过 程 。 
5$.2.3 ”基于 特征 映射 网 络 的 人 口 分 类 

【 例 S-3 了 】 

人 口 分 类 是 人 口 统计 中 的 一 个 重要 指标 。 由 于 各 方面 的 原因 ， 我 国人 口 的 出 生 率 在 性 别 上 
的 差异 比较 大 ， 有 具体 表现 在 同一 个 时 期 出 生 的 人 口中 ， 一 般 男 的 占 多 数 ， 大 大 超过 了 正常 的 比 
例 。 因 此 ， 正 确 地 进行 人 口 分 类 是 制定 合理 的 人 口 政策 的 基础 。 


1， 样本 设计 
通过 分 析 历 史 资 料 ， 得 到 了 在 1999 年 12 月 共 20 个 地 区 的 人 口 出 生 比 例 情况 ， 如 表 S$-1 所 示 。 
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表 5-{ 人 口 出 生 比 例 


男 〈%) 0. 2512 0. 5123 0. 2087 0. 5001 0. 6012 0. 0298 0. 5000 0. 4965 0.5103 0. JUU41 
女 (和 ) 0U. 4488 0. 4877 0. 4913 0. 4999 0. 3988 0U. 4702 0. JU00 0.5035 0. 4897 0. 499 7 


将 上 和 表 中 的 数据 作为 网 络 的 输入 样本 。 书 是 一 个 二 维 随机 回 量 ， 它 的 分 布 情况 如 图 S-6 
所 示 。 


P=[0.S5$12 0.$123 ”0.$087 “0.5001 ”0.6012 ”0.5298 ”0.S000 “0.496S 0.S103 
0.5003; 0.4488 “0.4877 “0.4913 ”0.4999 ”0.3988 ”0.4702 ”0.5000 “0.5035 
0.4897 0.4997]: 
plot(P(1,:),PC,:),#r); 
hold on 





0.45 0.5 0.55 0.6 0.65 
图 S-6 ”样本 数据 的 分 布 


2.， 网 络 创建 

利用 12 个 神经 元 的 特征 映射 网 络 对 输入 疝 量 己 进行 分 类 。 该 网 络 竞争 层 神 经 元 的 组 织 纺 
构 为 3X4， 通 过 距离 六 数 linkdist 来 计算 距离 。 网 络 创 建 代 码 如 下 。 

net=newsom(Io 1:0 11,13 4]); 

w1_inlit=net.Iw1 TI 1 

plotsom(w1_inlit,net.jayers{ 1j}.dlstances); 

运行 结果 如 图 $-7 所 示 , 图 中 每 一 点 表示 -一 个 神经 元 , 由 于 网 络 的 初始 权 什 和 邵 航 放 阐 为 0.5， 
所 以 这 些 点 在 图 中 是 重合 的 ， 看 起 来 就 像 一 个 点 ， 实 际 上 是 12 个 点 。 


Welght Vectors 


-0.5 DO 0.5 1 1 .5 


图 5$-7 网 络 声 始 权 仁 的 分 布 
在 命令 窗口 中 查看 wl_init 的 值 ， 可 得 
wj inlt = 
0.S000 “0.5000 
0.5000 “0.5000 
0.S000 “0.5000 


0.5U0U0 0.5000 
U.5UUU0 0U.3000 





0.5000 ”0.5000 
0.5000 ”0.5000 
0.5000 ”0.5000 
0.5000 “0.5000 
0.5000 “0.5000 
-0.5000 ”0.5000 
0.5000 ”0.5000 
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3 网络 训 练 与 测试 

搁 下 来 利用 训练 函数 train 对 网 络 进行 训 练 , 设想 经 过 训练 的 网 络 可 对 输入 向 量 进行 正确 分 
关 。 网 络 训练 步 数 对 于 网 络 性 能 的 影响 比较 大 ， 所 以 这 里 将 步 数 设置 为 100、300 和 $00， 并 分 
列 观 察 其 权 值 分 布 。 

和 步 数 为 100 时 的 权 值 分 布 如 图 5$-8 所 示 。 

吉 练 步 数 为 100 时 的 训练 代码 如 下 。 

net=traln(net,P): 

flgure; 

WwW1T=net.lw1{f1 ,1 

plotsom(w1l:net.layers{f1}.distances) 


Weight Vector 





0.42 
05 052 0.54 056 0.58 
VWi 人 


独 $-8 权 值 分 布 (训练 步 数 为 100) 


步 数 为 300 时 的 权 值 分 布 如 图 $-9 所 示 。 
% 训 练 步 数 为 300 时 的 训练 代码 


net.trainParam.epochs=300; 
net=lnlit(netb): 

net=traln(net,P); 

fgure; 

W1=net:lw{1l ,1 
pjotsomtw1l,net.]ayers{1j}.distances) 


Weight Vecto 只 
0.5 


0.48 

SL 046 
空 

0.44 


.42 





0.5 0.52 0.54 0.56 0.5 
和 


外 5-9 权 值 分 布 (训练 步 数 为 300) 
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步 数 为 $S00 时 的 权 值 分 布 如 岁 9-10 所 示 。 
狗 训 练 步 数 为 S00 时 的 训练 代码 


net.tralnParam.epochs=500; 
net=1lnit(mnet); 

net=train(net, 了 ); 

fguUre， 

w1=net.lw1{1 1; 
plotsonma(w1l,net.jayers{ 1 j.qistafnces) 


weight Vectors 





0.5 0.55 0 .6 
WE 


图 $-10 ” 权 值 分 布 ( 训 练 步 数 为 500) 

从 图 5-8、 图 S-9 和 图 $-10 可 以 看 出 ， 训 练 了 100 步 以 后 ， 神 经 元 了 驶 开始 目 组织 地 分 布 了 ， 
每 个 伸 经 元 可 以 区 分 不 同 的 样本 。 随 着 训练 步 数 的 增多 ， 神 经 元 的 分 布 更 加 合理 ， 但 是 ， 当 训 
练 庆 数 达到 -一 定 值 后 ， 权 值 分 布 的 改变 就 不 明显 了 了。 比如， 训练 300 步 和 训练 500 步 后 的 权 值 
分 布 就 比较 相似 。 

网 络 训 练 结 束 后 ， 权 值 也 就 固定 了 。 以 后 每 输入 一 个 值 ， 网 络 承 会 目 动 地 对 其 进行 分 类 。 
此 ， 利 用 这 一 点 对 网 络 进行 测试 。 首 先 ， 利 用 仿真 函数 sim 来 观 罕 网 络 对 样本 数据 的 分 类 结果 。 


y=SlIm(net,P); 
Y=vec2lind(y) 


Y= 
才 10 10 12 ] 12 12 10 12 


对 结 条 进行 分 机， 如 表 $-2 所 示 。 
表 5-2” 聚 类 结果 


人 
~ 
二 
PP 


和 和 


大 和 攻 局， 下 二 生生 汪 放 生生 全 全 
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现在 ， 答 入 一 个 茶 地 的 出 生性 别 比 例 ， 检 验 它 属于 哪 一 类 。 


ii 
放 CO |， 

上 2 前 
于 目 和 商 


站 sa 和 


站 [ ， 
5 六 杰 醒 和 本 
二 】 ] 下 | 目 广 - 和 夯 帮 站 
人 有 归 上 -区 有 有 时 人 局 外 上 ] 
”| 站 


结 示 为 11。 由 此 可 见 ， 此 时 激发 了 网 络 的 第 11 个 神经 元 ， 所 以 属于 第 4 类 。 通 过 直接 
对 比 数 据 可 知 ， 忆 确定 与 样本 中 的 第 4 组 、 第 7 组 和 第 10 组 数据 非常 接近 。 


5.3 “ 目 适 应 共振 理论 


目 运 应 共振 理论 瑞 文 全 称 为 Adaptive Resonance Theory， 简 称 ART， 它 是 由 S.Grossberg 和 
A.Carpentent 等 人 于 1986 年 提出 的 。.Grossberg 的 研究 工作 主要 是 采用 数学 方法 描述 人 的 心理 和 
认 知 活动 ， 致 力 于 为 人 类 的 心理 和 认 知 活动 建立 一 个 统一 的 数学 模型 。 以 其 思想 基础 提出 的 
ART 模型 成 功 地 解决 了 神经 网 络 学 习 中 的 稳定 性 《固定 某 一 分 类 集 ) 和 可 塑性 〈 调 整 网 络 固有 
参数 的 学 习 状 态 ) 的 关系 问题 。 

ARTI 十 以 认 知 和 行为 模式 为 基础 的 一 种 无 教师 、 矢 量 聚 类 和 竞争 学 习 的 算法 。 在 数学 上 ， 
ART 为 非 线 性 微分 方程 的 形式 ; 在 网 络 结构 上 ,，ART 是 全 反馈 结构 , 且 各 层 节 点 有 不 同 的 性 质 。 

ART 网 络 共有 3 种 类 型 ， ART1、ART2 和 ART-3。 这 里 主要 介绍 第 一 类 网 络 。 


5.3.1 目 适 应 其 振 理论 模型 


ARI1 航 网 络 络 构 如 图 S-11 所 示 。 由 图 可 见 ， 网 络 分 为 输入 和 输出 两 层 ， 一 般 根 据 各 层 所 
有 的 功能 特征 称 输入 层 为 比较 层 ， 输 出 层 为 识别 层 。 和 其 他 阶层 型 网 络 的 显著 区 别 是 ，ATR-l 
至 网 络 不 仅 具 有 从 输入 层 到 输出 层 的 前 馈 连 接 权 ， 还 有 从 输出 层 到 输入 层 的 反馈 连接 权 ， 


输出 层 ( 识 剂 层 ) 


(L 





抽 馈 连接 权 





输入 层 ( 比 较 层 ) 
图 S-11 ART-1I 型 网 络 结 构 


假定 网 络 输 入 层 有 N 个 神经 元 ， 和 输出 层 有 M 个 神经 元 ， 二 值 输入 模式 和 输出 向 量 分 别 为 
4 = (ok at ak 和 再 = 人 站 05 ， 其 中 天 =12,…,D 。 万 为 输入 学 习 模式 的 数目 。 
前 馈 连 接 权 和 反馈 连接 权 分 别 为 wy 和 三 ，/ =12,…,M ， 

ART-1 网 络 的 学 习 及 工作 过 程 ， 是 通过 反复 将 输入 学 习 模 式 由 输入 层 向 输出 层 自 下 而 上 地 
识别 、 由 输出 层 向 输入 层 自 上 而 下 地 比较 来 实现 的 。 当 这 种 自 下 而 上 的 识别 和 自 上 而 下 的 比较 
达到 共振 ， 即 输入 向 量 可 以 正确 反映 输入 学 习 模式 的 分 类 ， 且 网 络 原 有 记忆 没有 受到 不 良 影 响 
时 ， 网 络 对 一 个 输入 学 习 模式 的 记忆 和 分 类 就 算 完成 。 网 络 的 学 习 和 工作 过 程 可 以 分 为 初始 化 
阶段 、 识 别 阶段 、 比 较 阶 段 和 探寻 阶段 ， 下 面 将 详细 介绍 网 络 的 学 习 及 工作 过 程 。 


5.3.2 ”是 适 应 共振 理论 的 学 坷 
ARTI 网 络 的 和 劳 习 及 工作 可 以 归纳 为 如 咎 过程。 
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| 
(人 1) 已 始 化 。 令 广 (0) =1， 5 5 一 12…,A 9 三] 2 AM 吕 上 其中， 警 了 下 参数 


OO< 0D 委 ] 


(2) 将 输入 模式 么 =( 必 ,ax ) 提 供给 网 络 的 输入 层 。 
(3) 计算 输出 层 各 个 神经 元 的 输入 加 权 和 。 
大 
本 ia 也 =12……,Af 


《4) 选择 输入 模 陈 的 最 佳 分 类 结果 。 


令 神 经 元 8 的 输出 为 上 。 
($) 计算 以 下 3 式 ， 并 进行 判断 。 


N 

加 

4 四 》 ad! 
=1 


可 
-和 
一] 


1 4 
4 


如 朱 最 后 一 式 成 立 ， 则 转 入 步骤 〈7)， 人 否则 转 入 步骤 〈6)。 

《6) 取 谢 识别 绩 朱 ， 将 输出 层 神经 元 8 的 输出 值 复 位 为 0， 并 将 这 一 神经 元 排除 在 下 次 识 
剂 的 范围 之 外 ， 返 回 步 又 《〈4)。 当 所 有 已 利用 过 的 神经 元 都 无 法 满足 步骤 〈5) 中 的 最 后 一 式 
时 ， 则 选择 一 个 新 的 神经 元 作为 分 类 结果 ， 并 进入 步骤 〈7)。 

(7) 接受 识别 有 采 ， 并 按照 下 却 调 整 连接 权 值 。 





> 用 


1 人 1) 
人 N 
0.5+ 》1 (Da， 
:一 | 


1 二 D 三世 (Da 


Wi (tf 十 用 三 


其 中 ，1 = 上 <,A 。 


《8) 将 步骤 《6) 中 复位 的 所 有 神经 元 重新 加 入 识别 范围 中 ， 返 回 步骤 (2)， 对 下 -一 个 模 
陈 进 行 识 别 。 

无 论 网络 学 习 还 是 回想 ， 都 使 用 以 上 规则 。 只 不 过 在 网 络 回想 时 ， 只 对 那些 与 未 使 用 过 的 
得 出 神经 元 有 关 的 连接 权 值 WwWp 和 生 进 行 初 始 化 。 其 他 连接 权 值 保持 网 络 学 习 后 的 值 不 变 。 当 


Er 站 0 
和 
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得 入 模 却 是 一 个 网 络 已 记忆 的 学 习 模 式 时 ， 不 需要 再 进行 网 络 权 值 的 调整 ， 这 是 因为 当 输 入 模 
陈 和 网 络 记 忆 的 笠 习 模式 完全 相等 时 ， 再 按照 权 价 调 整 公式 进行 调整 ， 网 络 连接 权 值 不 会 发 生 
任何 杰 化 。 而 当 和 输入 模式 与 网 络 记 忆 模 式 存 在 一 定 差 异 时 ， 按 照 权 值 调 整 公式 进行 调整 ， 将 会 
影响 网 络 忆 有 模 陈 的 记忆 效果 。 但 是 如 果 和 输入 的 是 -个 全 新 的 模式 ， 霸 要 利用 网 络 对 其 另外 记 
忆 时 ， 则 必须 按照 权 值 调整 公式 对 网 络 连接 权 值 进行 调整 。 

尽管 ART-L 网 络 具 有 许多 其 他 网 络 所 没有 的 优点 ， 但 是 乱 仅 以 输出 层 中 某 个 神经 元 代表 分 
类 结果 ， 而 不 是 像 Hopfield 网 络 那样 ， 把 分 类 统 果 分 散在 各 个 神经 元 上 来 表示 。 所 以 ， 一 旦 输 
出 层 中 某 个 输出 神经 元 损 扑 ， 则 会 导致 该 神经 元 所 代表 类 列 的 模式 信息 全 部 消失 。 这 是 ART1 
网 络 一 个 很 大 的 缺陷 。 

ART2 型 网 络 与 ART1 型 的 主要 区 别 是 ，ART-2 型 网 络 以 模拟 量 作为 输入 模式 ， 同 时 在 算 
法 上 做 了 一 些 相 应 的 改进 ， 并 采用 慢 速 学习 方式 ， 其 抗 干扰 能 力 大 大 增强 。ART-3 型 网 络 是 由 
多 个 ART1 型 网 络 组 成 的 复合 阶层 型 网 络 。 


5.3.3 自 适 应 共振 理论 的 MATLAB 程序 


MATLAB 神经 网 络 工具 箱 没 有 为 ART 型 网 络 提供 专门 的 函数 ， 因 此 ， 利 用 现 有 的 神经 网 
络 工 具 箱 是 无 法 实现 ART1 网 络 电 。 但 是 ， 我 们 可 以 信 助 于 MATLAB 强大 的 数学 计算 功能 
灾 现 ARTT 网 络 的 训练 和 联想 记忆 功能 。 

【 例 S-4】 现 举 一 个 简单 的 例子 来 演示 利用 MATLAB 实现 ART-1 网 络 的 过 程 。 如 图 $-12 所 
示 ， 设 ART1 网 络 有 5 个 输入 神经 元 和 20 个 笨 出 神经 元 。 现 有 了 两 组 输入 模 陈 4 = (1,1.0.0.0) 和 
4, = (1.0,0.0,1)， 要 求 利 用 这 两 组 模式 来 训练 网 络 。 根 据 5.3.2 节 中 的 训练 过 程 ， 该 网 络 的 训练 
步骤 分 为 下 面 几 步 。 

(1) 初始 化 。 令 Wi =1/2+1=1/16， 记 

(2) 将 输入 模式 4) 提供 给 网 络 的 输入 层 。 

《3) 求 获 胜 的 神经 元 。 因 为 在 网 络 的 初始 状态 下 ， 所 有 的 前 馈 和 连接 权 WwW 均 取 棚 等 的 权 伸 
1/6 ， 上 所 以 各 输入 神经 元 均 上 共有 相同 的 输入 加 权 和 8 。 这 时 可 取 任 意 一 个 神经 元 作为 4 的 分 
类 代表 ， 如 第 1 个 ， 令 其 输出 值 为 1。 


一 ]， 县 中 工 = 1 .22 ， 了 宇 玫 252U， 今 0=0.8。 





图 $-12 ART-1 网 络 实 例 


(4) 计算 下 式 。 


3 
而 | 荆 ， 而 关 富 ， 也 41= >》 =2 
一 | 


:一 | 
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(6) 调整 权 仁 。 





($) 计算 = 1>0.8， 接 受 这 次 识别 结果 。 


下 | =(w WwW Wi WII5) = (0.4.0.4.0.0.0) 
1 = (121831141 1 三 (1000) 
至 此 ，44 已 经 被 记忆 在 网 络 中 了 。 
(7) 将 输入 模式 4; 提供 给 网 络 的 输入 层 。 
(8) 求 获胜 神经 元 ，8 = 0.4 ，9=1/6，9 =…=S0=11/6， 由 于 9 > 9 三 9 三 … 一 320， 
所 以 取 神 经 元 1 作为 获胜 神经 元 ， 但 这 显然 与 4 的 识别 结束 相 和 夏 盾 。 义 因为 


4 1 
42| 2 





< .8 


所 以 拒绝 这 次 识别 结果 ， 重 新 进行 识别 。 由 于 呈 =% =…= so =116， 故 可 从 中 任 选 .个 神 
经 元 作为 4 的 分 类 结果 ， 如 神经 元 20。 
9) 调整 权 值 。 
剑 ， = (WwW Wai Wo Us) 一 (U.4.0.0,0U,U.4) 
72 = (有 2 122 , 扫 2，142 852 ) = (个 肖 


至 此 ，42: 也 记忆 在 网 络 中 了 。 


按照 上 述 步骤 ， 可 以 编号 以 下 MAILAB 代位 。 
% 竞 争 层 的 输出 


XiuU=rands(20): 
多 正 癌 权 值 W 和 上 反 同 权 信 工 
W=rands(20.3); 
工 =Trands(20,2)， 
多 警戒 参数 
XIUXIU=0O.4， 
儿 天 组 模式 Al 和 A2 
A2=[10001|: 
钨 初始 化 
for 1=1 20 

for ]=1:3 

WU)=1/6; 
工 G) 二 ] 

end 
end 
狗 判 定 是 否 接受 识别 结 条 
normalA1=norm(A1,1)， 
normmalTA1=T(1,:)#A1 
counit=]; 
if normalTA1normalA1l>xiuxlu 
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xlu(count)=|; 
end 
% 权 信 调 整 
WI(,:)=[0.40.4000]; 
TI(L,)=[11000]， 
寻 找 可 以 记忆 A2 的 神经 元 
for k=1:20 
S(K)=YWV (K,:)#A2 
 S(K)==max(s) 
count=K， 
end 
end 加 
% 如 果 和 Al 的 神经 元 重复 ， 继 续 寻 找 
让 XIu(count)==] 
newcount=count+1 
end 
for 1=1:(count- 1] ) 
PUD=S(UD); 
end 
for I=count:19 
pUJ)=S(G+]); 
end 
for Kk=mnewcount:20 
tf S(K)==max(P) 
coOUnt= 一 长 ; 
end 
elid 
确 定 找到 的 神经 元 序号 count， 并 令 其 对 应 的 输出 为 ] 
XiuUkcount)=]| 
狠 公 值 调整 
Wcount,:)=[0.4.0.U.0,0.4 |; 
T(count,:)=[1.0.,0.0,1]; 
XiU 


1 .0000U0 0.0373 -0U.1397 0U. /SUO0 0U.4098 0.3740 -0.3014 -0.6079 -0.0888 
-0.0178 -0.1351 0.7/120 -0U.U0192> U.0319 -0.0783 -0.0853 -0.0986 -0.1750 
0.8032 1.0U0U0 


可 见 ， 第 1 个 和 第 20 个 神经 元 的 输出 均 为 1， 表 术 它 们 记忆 了 输入 模式 。 


5.4 学 习 和 天 量 量化 神经 网 络 





5.4.1 学 习 天 量 量化 的 神经 网 络 模 型 


因为 对 于 学 习 矢 量 量化 (LVQ) 了 网络， 用 户 指定 了 目标 分 类 结果 ， 所 以 网 络 可 以 通过 监督 
尝 习 完成 对 输入 矢量 模式 的 准确 分 类 。LVQ 神经 网 络 模型 如 图 $-13 所 示 。 
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输 入 矢量 竞争 层 线性 层 





图 5-13 LVQ 神经 网 络 模型 


LVQ 神经 网 络 有 了 两 个 网 络 层 ， 即 竞争 层 和 线性 层 。 莞 争 层 对 输入 矢量 的 学 习 分 类 与 前 面 所 
阐述 的 苋 争 层 一 样 ， 我 们 把 竞 委 层 的 分 类 称 为 子 分 类 : 线性 层 根 据 用 户 的 要 求 将 竞争 层 的 分 类 
红 生 映射 色目 标 分 类 结 末 中， 我 们 把 线性 层 的 分 类 称 为 目标 分 类。 

竞 委 层 和 线性 层 的 每 一 个 钊 经 元 的 输出 都 对 应 一 个 分 类 〈 子 分 类 或 目标 分 类 ) 结果 ， 所 以 
竞争 层 通过 学 习 ， 可 以 得 到 $ 类 子 分 类 结果 ;， 然后， 线性 层 将 $ 类 子 分 类 结果 再 分 成 $ -类 昌 
标 分 类 结果 〈$ 始终 大 于 $- )。 例 如 ， 假 设 竟 争 层 的 第 1、2、3 个 神经 元 对 输入 空间 的 了 分 类 
所 对 应 的 线性 层 的 目标 分 类 为 第 2 从 ， 则 部 委 层 的 第 1]、2、3 个 神经 元 与 线性 层 的 第 2 个 神经 
元 的 连接 权 将 全 部 为 1， 而 与 其 他 线性 层 神 经 元 的 连接 权 全 部 为 0， 这 样 ， 当 竞争 层 的 第 1、2、3 
个 神经 元 中 的 任意 一 个 神经 元 在 竞 委 中 获胜 时 ， 线 性 层 的 第 2 个 神经 元 将 输出 1。 


EPE 


和 


S$.4.2 学习 天 量 量化 神经 网 络 的 学 习 


党 习 舌 量 量化 (LVQ1) 神经 网 络 的 学 习 与 其 他 有 导师 学 习 方 法 一 样 ， 其 训练 样本 集 的 输入 
问 量 和 日 标 回 量 是 成 对 出 现 了 购 ， 即 


LP 人 上 1 


每 个 目标 同 量 ， 除 了 有 一 个 元 么 为 1 以 外 ， 其 余 元 妈 均 为 0， 目标 风量 中 元 素 为 1 的 行 即 
为 相应 的 输入 矢量 模式 。 例 如 ， 对 具有 3 个 输入 元 素 、4 个 输出 模式 的 LVQ 网 络 


0 
] 
1 10 
0 


则 表示 第 1 个 训练 样本 对 应 于 第 2 个 模式 ，LVQ 网 络 输出 层 的 第 2 个 神经 元 输出 1 

LVQI 网 络 进行 训练 时 , 对 每 一 个 输入 矢量 己 , 先 以 国 数 ndist 计算 它 与 输入 权 值 同 量 ITW 每 
行 元 素 的 距离 ， 使 隐 层 神经 元 进行 竞争 。 假 设 咖 的 第 :个 元 素 值 最 大 ， 则 竞争 层 的 第 :个 神 
经 元 将 赢得 竞争 ， 这 使 得 竞争 层 的 输出 e 的 第 个 元 素 值 为 1， 而 其 余 元 素 为 0。 

当 Qa 与 第 二 网 络 层 的 权 值 LW:z 相 乘 时 ， 在 &L 中 唯一 一 个 值 为 上 的 元 素 被 认为 是 与 输入 矢 
量 对 应 的 第 大 个 分 类 模式 ， 所 以 网 络 认 为 输入 矢量 尼 为 上 个 分 类 模式 ， 则 ee” 的 第 丰 个 元 素 输出 
1。 当 然 ， 访 分 类 结果 可 能 正确 ， 也 可 能 不 正确 ， 因 为 目标 同 量 友 可 能 为 1， 也 可 能 为 0， 筷 取 
决 于 输入 舌 量 模式 是 否 属于 第 大 个 分 类 模式 。 
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可 以 根据 目标 天 量 ， 调 整 ITW 的 第 ! 行 ， 当 分 类 结果 正确 时 ， 使 该 行 元 素 的 值 向 输入 矢量 忆 
天 拢 ， 当 分 类 结 未 铺 误 时 ， 使 该 行 元 素 的 值 还 离 输入 矢量 已。 当 输 入 矢量 己 得 到 正确 的 分 类 时 


“二 (5-8) 
IW 的 第 了 和 行 可 以 按 下 式 进 行 修 正 
IIW (g)=,IW(g-D+afpq)- ITW(I-D] (5S-9 ) 
当 输入 矢量 己 得 到 错误 的 分 类 时 
dy =1， 大 =0，ay 关 友 (5-10) 
TIW 的 第 守 行 可 以 按 下 式 进 行 修 正 
IIWI(g) = TIWI-D-afp(g) 一 ITWI 一 D] (CS-11 ) 


在 调整 ITW 的 第 行 时 ， 其 他 行 不 变 ， 所 以 输出 误差 反 向 传播 到 第 1 网 络 层 ， 对 ITW: 的 其 
他 行 疫 有 影响 。 近 上 述 方法 进行 修正 的 结果 使 得 隐 层 的 神经 元 趋 近 落 入 相应 输入 模式 的 输入 矢 
量 ， 远 离 其 他 模式 的 输入 矢量 ， 以 构成 其 子 分 类 。 

所 十 矢量 量化 ， 吏 是 将 天 量 邻 近 的 区 域 看 做 同一 量化 等 级 ， 用 其 中 心 值 表示 ， 即 用 少量 的 
索 类 中 心 表示 有 忌 始 数据 。SOFM 和 LVQ 都 具有 矢量 量化 作用 ， 不 同 的 是 SOFM 的 各 中 心 〈 输 
出 阵列 中 的 神经 元 )》 的 排列 是 有 结构 性 的 ， 即 各 相 邻 中 心 点 对 应 的 输入 数据 中 的 某 种 特征 是 相 
似 的 ， 而 LVQ 的 中 心 没 有 这 种 排序 功能 。 


在 MATLAB 和 神经 网 络 工具 箱 中 ， LVQ1 神经 网 络 的 第 1 网 络 层 权 值 调整 的 学 习 函 数 是 


learnlv 1l . 


有 Er。 下 时 ME 有 aa ea 1 au 的 交 | 


5.4.3 LVQI 学 习 噶 法 的 改进 


LVQ1 学 习 算 法 的 改进 《LVQ2 ) 是 在 LYQI1 的 基础 上 进行 的 ， 它 可 以 改善 LVQ1 学 习 结 果 
的 性 能 。 


ER Eee Pa PP 生生 PIPE -0 au -Eu Ti mr ER Pae 。 平 厂 PE。 -| HE -em Ta ER Eee PP asP- 


在 MATLAB 和 神经 网 络 工具 箱 中 ， LVQ2 神经 网 络 的 第 1 网 络 层 权 值 调整 的 学 习 函 数 是 ， 


learnlv2。 


LVQ2 的 学 习 过 程 与 LVQ1 类 似 ， 在 应 用 LVQ1 进行 学 习 后 ， 再 用 LVQ2 进行 学 习 ， 不 同 
的 是 ，LVQ2 是 针对 最 接近 输入 矢量 的 两 个 相 邻 神经 元 的 权 值 进行 的 ， 其 中 -个 神经 元 对 应 正 
全 的 分 凑 模式， 万 一 修神 经 元 对 应 针 误 的 分 类 模式 ， 而 输入 同 量 位 于 定义 的 窗口 时 
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mlInl -一 ,一 >， 三 一 -一 (9-12 ) 
di 1] 二 W 


式 中 ，d、d 分 别 表示 输入 矢量 六 与 ,TIW!、)TW 的 欧 几 里 得 距离 ， 风 在 〈0.2 一 0.3) 之 间 取 
值 。 例 如 ， 当 岁 取 值 为 0.25 时 ，8=0.6， 那 么 ,， 当 态 和 4 两 个 距离 之 比 大 于 0.6 时 ， 则 对 TW;: 、 
[Wi 都 需 进 行 调整 。 
当 第 ;个 神经 元 对 应 的 输出 分 类 模式 错误 时 ，TW:! 的 第 行 可 以 按 下 式 进 行 修正 
ITW (9)=IW (9-D+ap(O 一 IW (9 一 DJD] (5-13) 
当 第 了 个 神经 元 对 应 的 输出 分 类 模式 正确 时 ，IW 的 第 ,/ 行 可 以 按 下 式 进行 修正 


JIW (qg)=IW (go-D+ofp(qg)-TW (9-D] (S-14) 


这 样 ， 如 果 给 定 两 个 很 相近 的 输入 矢量 ， 其 中 一 个 对 应 正确 的 分 类 ， 而 态 一 个 对 应 销 误 的 
分 类 ， 则 LVQ2 也 能 对 靠 得 非 党 近 ， 甚 至 对 刚刚 可 分 有 网 模 去 进行 正确 的 分 类 ， 从 而 握 页 子 分 类 
结果 的 鲁 棒 性 。 

5.4.4 LVOQ 神经 网 络 的 MATLAB 程 厅 


【 例 S-3】 画 出 具有 3X2 栅 格 拓扑 结构 的 SOEM， 并 以 该 神经 网 络 完 成 对 图 $-14 所 示 输 入 
矢量 模式 的 分 类 ， 分 别 画 出 当 最 大 训练 步 长 epochs=40、60、100 时 ， 调 整 权 值 后 的 神经 元 拓扑 
结构 图 。 


Input Vectors 


0 “0.5 15 2 
FF 


图 5-14” 例 5-5 的 输入 矢量 模式 的 分 类 
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(1) 用 MATLAB 画 出 3X2 栅 格 SOFM 的 特征 映射 图 ， 如 图 $-15 所 示 。 


NeuUron PDsitions 


0.5 


position(2, 


0 1 2 
pos tiIont1 , 


图 S$-1$ 3Xx2 李 格 SOFM 特征 映射 图 
绘制 3X2 栅 格 SOFM 特征 观 射 图 的 MATLAB 程序 如 下 。 


1 
辣 直 的 可 


0 


和 





外 | 大 
人 0 于 ， 并 和 
1 吓 瑟 虽 明志 二 有 二 
DOS 三 ETIQLOPL3 


本 
Diotsom(DOS ) 


(2) 创建 和 训练 SOFM 神经 网 络 的 MATLAB 程序 设计 如 下 。 


| 人 下 有 页 证 和 | f 和 2 和 站 二 -二 本 机 
| 上 上 as 扩 - 时 | | [ ] | 间 四 | 时 上 -号 目 下 如 认 | F 攻 间 ] 1 
用 j ee | if 了 时 9 二 ; 攻 到 拓 末 硬 ， 用 加 症 请 沁 ， | 学 人 恒 : | | ) 过 

油 昌 放 ] 和 


P=[0.10.3 1.2 1.1181.70103121.1181.7 
plot(E(1 JE(< ph) .5 ,Iarkerslze ,18); 

0 训 练 SOFEM 网 络 

j 衣 置 训 纤 步 长 的 最 大 步 长 
net.trainParam.epochs=100 

net=ftraln(net.P): 

nold on 

plotsom(net.1w1{1 ,1 netjayers{1 distances): 


Tv 本 :二 
【区 


设置 不 同 的 最 大 步 长 进行 训练 ， 调 整 权 值 后 的 SOFM 特征 映射 图 如 图 $-16 所 示 。 
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(al] 初始 状态 b) 训练 次 数 为 100 
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(cl 训练 次 数 为 40 (dj 训练 次 数 为 名 
图 $-16 ”SOFM 神经 网 络 权 值 的 调整 过 程 


SOFM 神经 网 络 的 学 习 ， 就 是 使 权 问 量 的 方向 朝 着 输入 模式 向 量 的 方向 进行 调整 ， 使 各 个 
权 回 量 分 别 回 各 个 皮 闫 模式 群 的 中 心 位 置 靠 批 ， 同 时 ， 使 网 络 权 问 量 几 何 点 的 排列 与 竞争 层 各 
神经 元 的 自然 排列 基本 一 致 〈 拓 扑 结构 一 致 :)。 从 图 5-16 权 值 的 调整 过 程 看 ， 调 整 的 目标 是 使 
网 络 权 癌 量 几 何 点 的 排列 与 竞争 层 各 神经 元 的 拓扑 结构 基本 一 致 ， 即 为 3x2 栅 格 型 结构 。 

(3) SOFM 神经 网 络 的 MATLAB 仿真 程序 设计 如 下 。 
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% 定 义 输入 癌 量 
P=-[0.10.3 1.2 1.11.8 1.70.10.3 1.2 1.11.8 1.7 
0.2 0.1 0.3 0.1 0.3 0.2 0.8 0.8 0.9 0.9 0.7 0.8]; 

狗 网 络 仿真 

y=SlimCnet, 卫 ); 

狗 输 出 仿 芮 结果 

ycC=vVvec2lnd(y) 

仿真 红 本 为 

yc = 

4 4 5 5 6 6 | | 

因为 输入 向 量 模式 具有 明显 的 分 类 特征 ， 所 以 SOFM 网 
络 很 好 地 宪 成 了 分 类。 

【 例 S-6】 假 设 两 种 分 类 模式 如 图 $-17 所 示 ， 模 式 1 表示 
竖 线 ， 模 式 2 表示 横 线 。 试 设计 一 个 LVQ 神经 网 络 ， 完 成 这 
丙种 模式 的 分 类 。 

(1) 问题 分 机 。 

以 图 S$-18 表示 输入 辐 量 的 对 应 元 素 ， 则 LVQ 网 络 有 4 
个 输入 元 素 ， 输 出 两 类 模 却 ， 上 所 以 线性 层 有 2 个 神经 元 ， 芭 
01 表示 横 线 ，10 表示 竖 线 。 知 以 0 表示 线条 划 过 的 小 方块 ， 
| 表示 线条 未 划 过 的 小 方块 ， 则 图 $-17 所 示 的 两 关 模 坏 构 成 
如 下 训练 样本 集 。 


0 ] 
] 0 
一 了 -一 | OU ? 

忆 0] | | | 背 ] 
] U 

U | 

OO ] 

忆 ， 二 ] ,一 |0 1| ， 玫 三 0 ,4 一 

] OU 


(2) 创建 和 训练 LVQ 神经 网 络 的 MATLAB 程序 设计 如 下 。 


clear all 

狗 定 义 输入 回 量 和 目标 回 量 
P=[0101;10100011:1100]; 
=[1100001 1 

色 创建 LVQ 网 络 

net=newlvq(minmax(P),4,[0.5 0.9],0.01,1earnlv1 ); 
多 训练 LVQ 网 络 

net=tramnnet, 了 ,]): 

TRAINR, Epoch W 10U0 


忆 3 3 


“昌国 
本 加 


图 S$-17 例 S$-6 待 分 类 的 模式 





忆 ， 
图 S-18 输入 同 量 的 对 应 元 素 


TH 


0 MATLAB 神经 网 络 仿真 与 应 用 


TRAINR, Epoch 4/100 
TRAINR, Performance goal met 


运行 结果 为 
Et Epoch U 100 


TRAINR, Performamnce goal met 


Perfermance is 0，Goalis 0 
| 


0.5 


Training-Blue Goal-Black 


下 
1 过 忆 二 


4 EPochs 
多 $-19” 训 绿 的 误差 性 能 曲线 
(3) LVQ 神经 网 络 的 MATLAB 仿真 程序 设计 如 下 。 


% 定 义 输出 册 量 

F=I101 1010001 ] 本 
% 网 络 仿真 

y=sUmnet, 了 ) 

仿真 结 吉 为 

y 二 


0 0 ] ] 
仿真 结 未 表明 很 好 地 完成 了 分 类 。 


5.5 ”对 加 传播 网 络 


对 同 传 播 CCounter Propagation ) 网 络 , 和 傈 称 CPN, 是 将 Kohonen 特征 映射 网 络 与 Grossberg 
基本 珊 笠 型 网 络 相 结合 ， 发 挥 各 目 特 长 的 一 种 新 型 特征 轴 射 网 络 。 这 一 网 络 是 美国 计算 机 专家 
Robert Hecht-Nielsen 于 1987 年 提出 的 。 这 种 网 络 家 广泛 应 用 于 模式 分 类 、 函 数 近似 、 统 计 分 
析 和 数据 压缩 等 领域 。 


S.S.1 对 回 传 尾 网 络 移 介 


CPN 网 络 结构 如 疼 $-20 所 示 。 由 图 可 见 ， 网 络 分 为 输入 层 、 竟 争 层 和 输出 层 。 输 入 层 与 
竞争 层 构成 SOM 网 络 ， 竞 争 层 与 输出 层 构成 基本 竞争 型 网 络 。 从 整体 上 看 ， 网 络 属于 有 教师 
型 的 网 络 ， 而 由 输入 层 和 竞争 层 构 成 的 SOM 网 络 又 是 一 种 典型 的 无 教师 型 神经 网 络 。 因 此 ， 
这 一 -网络 既 汲 取 了 无 教师 型 网 络 分 类 灵活 、 算 法 简练 的 优 点 ， 又 采纳 了 有 教师 型 网 络 的 分 类 精 
细 、 状 确 的 长 处 ， 使 两 种 不 同类 型 的 网 络 有 机 地 结合 起 来 。 
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图 $S-20 ”CPN 网 络 结构 


CPN 的 基本 思想 是 ， 由 输入 层 至 输出 层 ， 网 络 按照 SOM 学 习 规则 产生 竞争 层 的 获 用 神 经 
元 ， 并 按 这 一 规则 调整 相应 的 输入 层 至 竞争 层 的 连接 权 ， 由 竞争 层 到 输出 层 ， 网 络 按照 基本 竞 
争 型 网 络 学 习 规 则 ， 得 到 各 输出 神经 元 的 实际 输出 值 ， 并 按照 有 教师 型 的 误差 校正 方法 ， 修 正 
由 竞争 层 到 输出 层 的 连接 权 。 经 过 这 样 的 反复 学 习 ， 可 以 将 任意 的 输入 模式 映射 为 输出 模式 。 

从 这 一 基本 思想 可 以 发 现 ， 处 于 网 络 中 间 位 置 的 竞争 层 获胜 神经 元 及 与 其 相关 的 连接 权 疝 
量 ， 既 反映 了 输入 模式 的 统计 特性 ， 又 反映 了 输出 模式 的 统计 特性 。 因 此 ， 可 以 认为 ， 输 入 、 
输出 模式 通过 竞争 层 实现 了 相互 映射 ， 即 网 络 具 有 双向 记忆 的 功能 。 如 果 输 入 、 和 输出 采用 相同 
的 模式 对 网 络 进行 训练 ， 则 由 输入 模式 至 竞争 层 的 映射 可 以 认为 是 对 输入 模式 的 压缩 ， 而 出 竞 
争 层 至 输出 层 的 映射 可 以 认为 是 对 输入 模式 的 复原 。 利 用 这 一 特性 ， 可 以 有 效 地 解决 图 像 处 理 
及 通信 中 的 数据 压缩 及 复原 问题 ， 并 可 得 到 较 高 的 压缩 性 。 

接 下 来 介绍 CPN 的 学 习 及 工作 规则 。 假 定 输入 层 有 N 个 神经 元 ， 忆 个 连续 值 的 输入 模式 为 
4 =(qf ,的 上) ， 竞 争 层 有 @ 个 神经 元 , 对 应 的 二 值 答 出 向 量 为 Bi = 好, 丰 …, 的 输出 层 有 AM 个 
神经 元 ， 其 连续 值 的 输出 向 量 为 CL= (cf ,c……:ct) ， 目 标 输出 向 量 为 Cu = fcfcs ceb， 以 上 
K = 1 o 由 输入 层 至 竞争 层 的 连接 权 回 量 为 到 ， =(wrw ; 了 避 CC ; 和 由 
竞争 层 到 输出 层 的 连接 权 向 量 为 中 =(wbya mo) 12=12…;,hM 。 网 络 学 习 和 工作 规则 如 下 
所 述 。 

C1) 初始 化 。 将 连接 权 向 量 环 ) 和 人 赋予 区 间 [0,1] 内 的 随机 值 。 将 所 有 的 输入 模式 4 进行 
归 一 化 处 理 。 


N 
-HT as = > 人 1 
:一 1 


(2) 将 第 天 个 输入 模式 4 提供 给 网 络 的 输入 层 。 
3) 将 连接 权 问 量 风 7 按照 下 式 进行 归 一 化 处 理 。 


| < 
他 下 外 = 局 ， 了 7 二 1 2 


ea 和 0 “ 
让 
全 全 和 全 人 国 人 Eee 
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(4) 求 竞 和 争 层 中 每 个 神经 元 的 加 权 输 入 和 。 
有 
Di Wi ， 二 上 
一 | 


(5) 求 连接 权 回 量 风 7 中 与 4 妈 距 离 最 近 的 同 量 


将 神经 元 8 的 输出 设 定 为 1， 其 余 营 争 层 神经 元 的 输出 设 定 为 0。 


1 7= 
J =3 
1 太夫 8 
(6) 将 连接 权 向 量 负 ,按照 下 式 进 行 修正 。 


大 ， 
ww tl = Wei( 人 二 QQ 一 Www 二 1 2 


其 中 ， -1 < CQ<1| 为 学 习 率 。 
(7) 将 连接 权 向 量 环 ,重新 归 一 化 ， 归 一 化 复读 加 上 。 
(8) 按照 下 式 修 正 竞 争 层 到 输出 层 的 连接 权 回 量 仿 。 


w+J)=Vi(C+DOD CC， -cf1) 717=12…,M ，1=12… 


其 中 ，-1< 0 < 1 为 学 习 率 。 由 步骤 (53) 可 将 上 式 简 化 为 


vt+D=ve(D+DDi(Cc 一 Cy ) 


7 


由 此 可 见 ， 只 需要 调整 觉 争 层 获胜 神经 元 8 到 输出 层 神经 元 的 连接 权 向 量 *。 即 可 ， 其 他 连 


接 权 同 量 保持 不 变 。 


忆 
(9) 求 输出 层 各 神经 元 的 加 权 输入 ， 并 将 其 作为 输出 神经 元 的 实际 输出 值 ，cf = 》 记 iv ， 
六 | 


1 = 12,…,hM ， 同 理 可 将 其 简化 为 cr =vw 。 
(10) 返回 步骤 (2)， 直 到 将 忆 个 输入 模式 全 部 提供 给 网 络 。 


(11) 令 f=1i+1， 将 输入 模式 4, 重新 提供 给 网 络 学 习 ， 直 到 ! = 了 。 其 中 了 为 观 先 庆 定 的 


学 习 总 次 数 ， 一 般 取 S00< 了 <100000。 
S.$5.2 ”对 疝 传播 网 络 的 MATLAB 程序 
【 例 S$-7 】 


这 里 举 一 个 非常 简单 而 且 与 日 常生 活 相 关 的 例子 来 说 明 CPN 网 络 的 应 用 。 现 在 需要 创建 一 
个 CPN 网 络 , 其 任务 是 在 已 知 一 个 人 本 星期 应 该 完成 的 工作 量 和 此 人 当时 的 思想 情绪 状态 的 情 


况 下 ， 对 此 人 星期 日 下 午 的 活动 安排 提出 建议 。 


第 5 章 自 组 织 神经 网 络 及 MATLAB 程序 


控 照 一 般 情 况 ， 将 工作 量 分 为 3 个 档次 ， 即 “没有 “有 一 些 ” 和 “很 多 ”所 对 应 的 量 
化 值 分 别 为 0.0、0.5 和 1.0;， 把 思想 情绪 也 分 为 3 个 水 平 ， 即 “ 低 交 “一 般 ” 和 “高 ?， 所 对 应 
的 量化 但 分 询 为 0.0、0.3 和 1.0。 可 选择 的 活动 有 5 个 ， 即 在 家 里 看 画报 、 云 商场 购物 、 到 公 
国 他 步 、 与 朋友 一 起 吃饭 和 二 工作 。 工 作 量 和 思想 情绪 状态 一 共有 6 种 组 合 ， 这 6 种 组 合 分 别 
对 大 各 上 且 的 最 佳 活动 选择 。 样 本 模式 如 表 $-3 所 示 。 

把 这 组 训练 样本 提供 给 网 络 进行 充分 学 习 后 ， 网 络 就 具有 了 一 种 “内 插 ” 功 能 ， 即 当 网 络 
笨 入 一 对 在 [0,1j 区 间 中 反映 工作 量 和 情绪 的 量化 值 后 ， 网 络 将 自动 根据 原 有 的 记忆 ， 找 出 对 
应 于 这 对 量化 值 鸭 最 佳 活 动 选 择 ， 以 输出 模 陈 的 形式 提供 给 用 户 作 为 决策 参数 。 


表 5-3 网 络 训 练 样本 模式 


工 作 量 思想 情绪 目标 输出 
有 些 05 to000 
疫 有 00 0loo0 
很 多 1.0 公园 散步 00100 


实际 上 ， 不 光 CPN 网 络 具 有 这 种 “内 插 ” 功 能 ，BP 网 络 、SOM 网 络 都 具有 这 种 功能 。 从 
模式 识别 的 角度 上 讲 ， 这 些 网 络 具 有 对 输入 模式 进行 分 类 的 功能 。 

可 惜 的 是 ,对 功能 如 此 强大 的 CPN 网 络 ,神经 网 络 工 具 箱 中 竟然 没有 与 之 文 持 的 郴 数 工具 。 
但 是 ， 既 然 5$.5.1 节 中 已 经 给 出 了 有 关 CPN 的 学 习 和 训练 算法 过 程 ， 因 此 ， 我 们 可 以 利用 
MATLAB 强大 的 数学 计算 功能 ， 实 现 解 次 二 问题 的 CPN 网 络 。 

根据 题 意 ， 该 网 络 的 输入 层 应 该 有 2 个 神经 元 ， 输 出 层 应 该 有 5 个 神经 元 。 为 了 更 加 谁 磺 
地 解决 问题 ， 将 竞争 层 神 经 元 设置 为 18 个 。 网 络 结构 如 图 $-21 所 示 。 


看 画报 购物 侣 步 吧 饭 


SN 
人 了 全 
工作 量 情 颖 


5-21 星期 日 下 午 话 动 安排 决策 CPN 网 络 
由 表 $-3 可 得 ， 网 络 的 得 入 同 量 为 
P=[0 0:0.9 0.9:0 0.9;1 1:;0.9 1;1 0.9]; 
目标 阿 量 为 
T=f10000:10000;01000;00100:000100000 1] 


1 


本 二 浊 
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下 置 对 网 络 进行 一 个 周期 的 芝 习 。 令 输入 层 和 竟 争 层 之 间 的 连接 权 向 量 矩 阵 用 夺 表示， 交 
秆 层 和 输出 层 之 间 的 权 问 量 和 矩阵 用 下 表示 。 可 知 厂 为 一 个 18x2 的 矩阵 ， 是 一 个 Sx18 的 黎 
阵 。 学 习 速 率 设 定 为 0.1。 

(1) 仇 始 化 。 利用 MATLAB 中 的 随机 数 产 生 函 数 太 和 TY， 并 赋 以 区 间 [0,1] 之 间 的 随机 值 ， 
代 但 为 
 W=rands(18.2)/2+0.5， 

V=rands(3,18)2+0.9; 

由 于 函数 rands 产生 的 随机 数位 于 区 辣 必 | 之 间 ， 所 以 这 里 做 了 这 样 的 处 理 ， 使 得 产生 


的 随机 数 莱 不 影 啊 随机 性 能 ， 又 位 于 区 间 I[0，1] 中 。 
对 竹 入 同 量 进行 归 -- 化 处 理 
W=rands(18,2)/2 上 +0.9， 
VYV=rands(3,18y2- 上 0.9， 
for 1=1:6 
TOPG)==[0 9) 
P(Q,:)=PG,:) 
else < 四 将 二 
Pi,:)=PG:)/norm(PGi7 SU 
end 2 
end 加 王 和 
之 所 以 要 在 循环 中 进行 数据 判断 ， 是 因为 向 量 [0 0] 是 无 法 归 一 化 处 理 的 ， 比 如 书 的 第 -- 组 
元 系 ， 避 是 正在 用 的 这 一 组 
(2) 将 种 - -个 输入 样本 [00j]」 提供 给 网 络 的 输入 层 神经 元 。 
(3) 对 连接 权 问 量 三 进行 归 一 化 处 理 。 
(4) 求 每 一 个 竞争 层 神 经 元 的 加 权 输 入 3 ， JJ/ =12……18 。 


for 1=1:18 
Wi=WNnornmlYW 0); 
S() 一 已 (] ,) 关 YYV (LI) 

end 


循环 语句 中 第 - - 句 用 于 对 连接 权 向 量 国 进行 归 -- 化 处 理 , 第 二 句 可 以 求 出 竞争 层 每 个 神经 


0 0 0 0 0 
(5$) 求 连接 权 回 量 环 中 与 100] 距离 最 近 的 向 量 ， 由 于 输出 全 部 为 0， 所 以 可 任 选 -个 权 
但 回 量 太 ,， 这 里 选 为 18， 并 将 该 神经 元 的 输出 设 定 为 1。 


for 1=1:18 
WU:)=WU,Xnormn(YWV(L:)); 
S(D=P(L)*W(GD) 3 

erid 加 

temp=max(S); 

for 1 二 1:18 
if temp==Stl) 
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count=!1: 
end 
end 


儿 将 所 有 竞争 层 神 经 元 的 输出 置 为 0 
for 1=1:18 
SU)=0U; 
cnd 
% 选 中 的 神经 元 输出 为 1 
sS(count)=|; 
(6) 调整 连接 权 向 量 Wis， 并 重新 将 其 归 一 化 。 
Wcount:)=W(count:)+0.1*[PGL,)-WCcount 名; 
W (count， =W(count,:)normCW (count,:)) 
和 输出 结果 为 
WILL18,:)= 
U.99917 U.025 ] 
经 检验 ， 此 时 的 丽 is 确实 已 绎 归 一 化 了 。 
(7) 调整 竞争 层 神经 元 到 和 输出 层 神 经 元 之 间 的 连接 权 回 量 Y。 
VCcount)=V(,count)+0.1*#(T(1 .77-I out(1 
由 于 此 时 输出 层 神 经 元 的 输出 域 目标 网 量 是 一 致 的 ， 所 以 这 里 的 权 值 是 状 有 经 过 调整 的 ， 
等 到 来 了 下 一 个 模式 后 ， 权 信 才 会 芮 正 得 到 调整 。 
(8) 计算 输出 层 各 神经 元 的 加 权 输 入 ， 并 将 其 作为 神经 元 的 实际 输出 仁 。 
Tout(1 ,:)=V0:count) ， 


第 组 实际 输出 就 等 干 竞争 层 中 第 18 个 神经 元 与 输出 层 各 神经 元 之 间 调 整 后 的 连接 权 值 
(9) 返回 步骤 (2)， 将 输入 癌 量 中 的 【0.$ 0.5] 提供 给 网 络 。 

(10) 继续 学 习 ， 直 到 训练 次 数 达 到 设 定 的 最 大 仁 。 

CPN 网 络 训练 结束 后 ， 按 照 以 下 步骤 进行 网 络 回 想 。 

(1)》 将 输入 模 陈 4 提供 给 网 络 的 输入 后 。 

(2) 根据 下 云 求 出 竞争 层 的 获胜 第 经 元 g 。 


辐 


(3) 令 忆 =1， 其 余 的 输出 都 等 于 0。 按 照 下 式 求 得 输出 层 各 神经 元 的 输出 。 
( 和 


Yi cy )， 从 而 就 得 到 了 输入 异 陈 4 的 分 从 纺 朱 。 


clear al 

% 初 始 化 正 向 权 值 W 和 反 向 权 什 V 
W=rands(18,2)/2+0.5， 
V=rands(S,18)/2+0U.3; 

包 输 入 向 量 P 和 目标 加 量 工 


三 
0 
0 
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P=1b 0;0.2 0.3;0 0.3;1 3;0.9 1;1 0.5]; 
T=lioo0b:l10000010000010000010:0000 1 
工 _out= 工 ; 
狗 设 定 学 习 步 数 为 1000 识 
epoch=1000; 
名 轨 一 化 葵 入 问 量 P 
ftor 1I=1:6 
上 P()==[0 
PU,:)=PGQ,:): 
else 
PQG.:)=PQ, Mnorm(PG 
end 
end 
多 开始 训 红 


whle epoch>(0 


for |=1:6 
乡 归 一 化 正门 议价 WW 
for 1=13:18 


Wi DJ=Wd ynormCWG 分: 
S(U=PO,:) 关 YW (0 ) ; 
end 
% 求 输出 最 大 的 神经 元 ， 即 获胜 神经 元 
teImmp=Iiax(S) 
for 1=1:18 
if temp==S() 
cDuUnt 一 1; 
cend 
end 
钨 将 所 有 竞争 层 神经 元 的 输出 置 为 0 
for 1 一 1:18 
SUU=U; 
end 
狗 选 中 的 神经 元 输出 为 1 
S(cCOUnt) 一 上; 
多 权 仁 调整 8 
W(count,:)W(count,:)+0.1*#[PUO,:)-WCcount,:); 
W(count:)=Wcount:ynormCVW (count :)): 
VCGcounbD=V(county+O.1*(TG;7-T_outG ,7 
% 计 算 网 络 输出 
T_outg,:)=V(zcount) '; 
coend 
儿 划 练 次 数 鸳 城 
epoch=epoch - 1; 
多 训练 结束 呈 AR 
了 out 
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% 网 络 回 想 
% 网 络 的 输入 模式 Pc 
Pc=[0.3 1;1 3]; 
色 急 始 化 Pc 
for 1=1:2 
让 了 cd )==[0O 0O] 
Pcd,:)=PcG,); 
else 
PcG,)=PGQ, normn(PcG，:)); 
end 
cnd 
和 网 络 输出 
Outc=[00000:00000]; 
for ]= 工 2 
for 1=1:18 
sc(iD)=Pcd(,:)#*W Gy; 


end 
teImpc=max(sc); 
for 1=1:18 
if tempc==Sc(U 
coOUntp=!1; 
end 
sc(D=0， 
erid 
sc(Ccountp)=] ; 
OutcU,:)=Y(Gcountp) ; 
end 
9 回想 绪 束 
Outc 
得 出 结 末 为 
T_out = 
1 ] 吕 0 昌 U 
0 O ] 0 昌 0 
0 0 U ] 人 0 
0 0 0 0 1 0 
0 0 0 已 0 1!| 


由 此 可 见 ， 经 过 1000 次 训练 后 ， 网 络 的 实际 输出 和 有 目标 和 输出 融 一 臻 了， 这 说 明 训 练 过 程 
征 有 效 的 。 
0.3050 “0.8744 ”0.0150 ”0.7680 ”0.9708 
0.3784 ”0.8600 ”0.8537 ”0.$936 ”0.4966 
Outc 是 网 络 回想 的 输出 ， 实 际 上 也 就 是 网 络 测试 的 结果 ， 在 这 里 给 出 了 两 种 特定 的 组 合 状 
态 ， 即 [0.51j 和 [L11] 的 组 合 ， 这 两 种 组 合 分 别 对 应 号 饭 和 到 公园 散步 ， 可 见 ， 网 络 给 出 了 
正确 的 建议 。 


本 让 2 下 中 二 机 


本 站 1 
了 EL 
二 en 
机 
二 o 二 
Un ”Ludd- Ye Ph- 站 RN RE 
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人 


EN 


在 以 上 代码 中 ， 训 练 输入 向 量 忆 和 回想 输入 向 量 Pc 中 的 [1 1 ] 都 被 [13] 所 替代 ， 这 是 
Who 人 和 0.5 ] 和 本 本 们 


为 了 导 移 这 种 情 


| 
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反馈 型 神经 网 络 (frecurrent _ networks ) 是 


-种 从 输出 到 输入 具有 反馈 连接 的 神经 网 络 ， 

络 示 比 琶 饥 网 络 要 复 灵 得 多 。 殿 型 的 反馈 神 双 网 络 有 ， Elman 网 络 和 Hopfield 网 络 。 和 
的 输入 包含 有 延迟 的 输入 或 者 给 出 数据 的 反馈 。 由 于 有 上 反馈 的 和 输入， 所 以 它 是 - :种 反馈 动力 学 
系统 。 这 种 系统 的 等 习 辽 年 肌 征 世 的 神经 元 状态 的 变化 过 程 ， 这 个 过 程 最 终 会 达到 - :个 神经 元 
状态 不 变 的 稳定 态 ， 也 标 兰 痢 学 习 过 程 结束 。 反 馈 网 络 的 这 种 动态 学 习 特 性 ， 主 要 由 网 络 的 反 
饥 形 式 决 定 。 反 饥 网 络 的 反 饥 形 陈 是 比较 多 样 化 的 ， 有 输入 延迟 的 、 单 层 输出 的 、 神 经 元 自 反 
馈 的 、 两 层 之 间 互 相反 馈 的 等 。 


反馈 神经 网 络 的 基本 概念 


反 饥 网 络 包括 输入 延 返 和 输出 反馈 两 种 类 型 ， 其 他 的 网 络 利 
同 之 处 有 个 清晰 的 理解 ， 下 面 用 一 个 例子 来 诈 细 说 明 。 

【 例 6-1]】 静态 网 络 和 反馈 网 络 对 同一 个 输入 序列 的 不 同 啊 应 。 

2 输入 的 厅 列 

p={00011100000}; 

儿 男 出 序列 入 


stemt(cell2mat(P)); 
序列 网 如 网 6-1 所 示 。 接 下 来 ， 创 建 一 个 静态 网 络 ， 并 且 得 出 这 个 静态 
用 下 面 的 命令 创建 一 个 单 层 ， 单 伸 经 元 ， 没 有 偶 置 值 ， 权 重 为 2 的 线性 网 络 。 





.1 


为 衣 态 网 络 。 为 了 对 它们 的 不 





中 的 虽 





得 入 厅 列 图 


C 芷 
儿 创 建 一 个 单 层 的 线性 网 络 
net=newlin([-1 1],1): 


匈 偶 置 什 为 堆 


net.blasConnect=(U; 


儿 权 全 为 2 
net.lw1{1 ,1 }=2; 


用 上 面 创 建 的 线性 网 络 仿真 输入 订 
狗 网 络 仿真 


A=Slm(Gnet,P); 


列 ， 并 男 出 序列 图 ， 如 图 6-2 所 示 。 
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力 恩 出 序列 图 
Stem(cellj2mat(AJ): 





0 2 4 6 8 1 12 


网 6-2 静态 网 络 答 出 序列 网 


图 6-2 是 豆 态 线性 网 络 对 输入 序列 的 仿真 结果 。 从 图 中 可 以 看 出 ， 静 态 网 络 的 啊 应 所 持续 
的 时 间 和 得 入 序列 一 样 ， 即 静态 网 络 在 任意 时 间 上 点 的 啊 应 只 依赖 于 同一 时 间 点 的 输入 。 

接 下 末 ， 创 建 一 个 反 饶 网 络 。 这 个 反馈 网 络 相当 于 -个 输入 有 延迟 的 单 屋 、 单 神经 元 的 线 
性 网 络 。 

多 创建 输入 有 延迟 的 反馈 网 络 

net=newln(l[-1 1 可 ,1.[0 1]): 

% 偶 置 人 为 零 

net.blasConnect=0; 

多 网 络 权 值 为 [1 

net,Iwf 1,1}=[L 1; 


冉 一 次 用 该 网 络 仿真 输入 序列 。 

A=Sslmmnnet',P); 

Stemtftcell2mat(A)): 

从 图 6-3 可 以 看 出 ， 反 馈 网 络 的 响应 在 时 间 上 延迟 得 比 输入 序列 要 长 。 因 为 反馈 网 络 在 任 
意 时 刻 的 虽 应 不 仅 依 顿 于 当前 的 输入 ， 也 依 顿 于 以 前 的 和 翘 入 ， 所 以 它 是 有 记忆 效应 的 。 

现在 考虑 一 个 输入 中 包括 输出 反馈 的 网 络 ， 即 层 反 馈 的 网 络 。 可 以 用 第 3 章 讨论 过 的 
newnarx 命令 创建 这 种 网 络 。 
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巡 
图 6-3 输入 延迟 反馈 网 络 输出 序列 图 


驳 创 建 单 层 、 单 神经 元 、 输 出 层 延 迟 为 1 的 层 吧 馈 网 络 
net=newnarx([-1 1,0,1,1 (purelin 用 ; 

20 偏 置 为 0， 输出 层 权 重 为 0.5， 输 入 层 权 重 为 1 
het.blasConnect 一 0; 

net.liw1{1ll}=0.9; 

net.1w1{1lij=jii; 

匈 对 输入 序列 仿真 

A=stmGnetPp); 

stem(cell2mat(A)) 
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从 图 6-4 可 以 注意 到 ， 层 回 饥 的 反馈 网 络 比 输入 延迟 的 反馈 网 络 有 一 个 更 长 的 输出 响应 。 
这 艳 因 为 在 时 间 上 和 输出 总 是 要 晚 于 输入 ， 所 以 输出 有 反馈 的 层 反 馈 网 络 的 输出 响应 延迟 的 时 间 
尼 畏 入 有 上 到 馈 的 网 络 延 迟 的 时 间 要 更 长 。 





2.5 
业 
< 四 | 
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图 6-4 _ 层 反 人 饥 的 反馈 网 络 输入 序列 图 
通过 这 一 节 ， 可 以 对 反馈 网 络 的 基本 特性 有 一 个 初步 的 了 解 ， 下 面 就 具体 的 例子 来 讲解 。 


6.2 ElIman 神经 网 络 及 MATLAB 程序 


Elman 网 络 是 两 质 肥 回 传 播 网 络 。 隐 层 和 输入 回 量 连接 的 神经 元 ， 其 输出 不 仅 作为 输出 层 
的 输入 ， 而 且 还 连接 隐 层 内 的 另外 一 些 神 经 元 ， 反 馈 至 隐 层 的 输入 。 由 于 其 输入 表示 了 信和 号 的 
裤 域 信息 ， 而 肥 馈 文 路 是 一 个 延 壕 单 死 ， 反 映 了 信号 的 时 域 信 息 ， 所 以 Elman 网 络 可 以 在 时 域 
和 和 至 工 进行 模 陈 雏 别 。 


6.2.1 Elman 神经 网 络 


Elman 网 络 由 在于 个 隐 搬 和 输出 层 构成 ， 并 且 隐 层 存 在 反馈 环节 ， 其 结构 如 图 6-5 所 示 。 
多 中 ， 模 块 D 表示 时 延 环 节 ， 隐 层 神经 元 采用 tansig 函数 作为 传递 函数 ， 输 出 层 传 递 国 数 为 纯 
线性 函数 purelin， 这 两 层 神经 元 的 传递 图 数 可 以 在 建立 网 络 时 由 用 户 上 自己 指定 。 当 隐居 神经 元 
足 侣 和 多 时 ，Elman 网 络 的 这 种 结构 可 以 保证 网 络 以 任意 精度 明 近 任意 的 非 线性 图 数 。 

但 但 注意 的 是 ，Elman 网 络 不 同 于 通 第 的 两 层 网 络 ， 其 第 一 网 络 层 有 一 个 反馈 节点 ， 该 节 
所 的 延迟 量 仔 铺 了 前 一 时 刻 的 值 ， 从 而 应 用 于 当前 时 刻 的 计算 。 上 所 以 即使 是 具有 相同 权 值 和 隧 
全 的 Elman 网 络 ， 如 果 其 反 蚀 状态 不 同 ， 那 么 对 于 同样 的 输入 辐 量 ， 其 同一 时 刻 的 输出 也 可 能 
个 加 。 


性 入 问 量 反馈 己 nsig 层 痊 启 线性 层 


G-(K) 
SS X1 
SX1 











入 6-5 BEiman 神经 网 络 模型 
因为 ElIman 网 络 能 够 存储 供 将 来 时 到 使 用 的 信息 ， 所 以 它 既 可 以 学 习 时 坡 模 式 ， 也 可 以 学 
习 衬 域 模 式 ， 它 既 可 以 训练 后 对 模式 产生 啊 应 〈 模 式 的 空间 分 类 结果 )， 也 可 以 产生 模式 输 山 
( 模 有 的 早 党 化 关系 )。 
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以 newelm 定义 的 Elman 网 络 为 例 ， 其 反 同 传播 训练 算法 的 默认 本 数 为 trainbfg， 还 可 以 用 
trainlm， 但 其 处 理 速 度 太 快 ， 这 在 Elman 网 络 中 是 不 必要 的 ， 效 果 也 不 一 定好 。 默 认 的 权 值 和 
况 伍 的 反 同 传播 图 数 为 learngdm， 默 认 的 误差 性 能 函数 为 mse。 

网 络 建 世 后， 每 个 网 络 层 的 权 值 和 靖 值 都 以 Nguyen-Widrow 网 络 层 初始 化 方法 进行 初始 
化 ， 实 现 函 数 为 initnw。 

Elman 网 络 的 训练 可 采用 train 或 adapt 两 个 函数 中 的 任意 一 个 。 当 采用 函数 train 时 ， 每 -- 
步 欠 代 过 程 按 以 下 步骤 进行 。 

(1) 在 网 络 输 入 中 和 匈 输 入 所 有 的 输入 序列 ， 然 后 计算 输出 结果 ， 并 与 目标 序列 进行 比较 ， 
从 而 产后 - -误差 序 列 。 

(2) 在 每 :次 欠 代 中 ， 误 差 被 反问 传 播 ， 以 确定 每 一 个 权 值 和 浆 值 的 误差 梯度 ， 实 际 上 梯 
度 的 计算 是 近似 的 ， 因 为 经 由 延迟 反馈 支 路 对 权 值 和 浆 值 误差 的 贡献 是 忽略 了 的 。 

(3 ) 该 志 度 用 于 对 用 户 选择 的 反 回 传播 训练 函数 进行 权 值 修正 .建议 采用 训练 函数 traingdx。 

当 采 用 函数 adapt 时 ， 和 迭代 过 程 与 采用 函数 train 时 基本 : : 样 ， 只 是 权 值 的 修正 函数 建议 采 
用 和 尝 习 畏 数 learngdm。 

Elman 网 络 没 有 其 他 网 络 的 可 靠 性 高 ， 因 为 训练 或 调整 都 是 以 误差 梯度 的 近似 值 进行 的 。 


6.2.2 ”Elman 神经 网 络 的 MATLAB 程序 


【 例 6-2】〗】Elman 神经 网 络 用 于 峰值 检 波 。 

(1) 问题 分 析 。 

振 帼 遇 制 《AM ) 古 通信 系统 一 种 最 香 见 的 模拟 通信 方式 ， 在 接收 冰 往 往 采 用 峰值 检 疲 ， 
这 时 以 Blman 神经 阅 络 来 实现 。 训 练 样本 集中 的 输入 样本 采用 一 角 波 调制 的 调幅 波形 ， 调 幅度 
为 100%， 我 疲 频 举 约 为 3.18Hz(20rad/s)， 调 制 信 忆 频率 为 0.11Hz(0.67rad/s);， 目标 癌 量 为 调制 
信号 ， 即 调幅 疲 的 包 络 ， 如 图 6-6 所 示 。 


玫 nes 
0 忆 和 6 8 尼 


图 6-6 Elman 网 络 的 输入 样本 和 目标 同 量 疲 形 
采用 调幅 度 为 100%、 调 制 信号 为 三 角 波 调制 的 调幅 波形 ， 可 以 使 已 调 波 信号 从 0 变 到 最 
大 值 ， 从 而 使 圳 练 后 的 网 络 能 够 较 宛 整地 反 觅 不 同调 幅度 、 不 同 波形 的 情况 ， 使 网 络 解 调 的 性 
能 更 好 。 
载 疲 鼎 潜 选 为 3.18Hz(20rad/s)， 幸 制 信号 频率 选 为 0.11Hz(0.67rad/s)， 这 完全 是 为 了 使 绘制 


的 波形 便于 读者 观察 ， 同 时 减 小 网 络 输 入 向 量 的 规模 而 设置 的 ， 实 际 上 载 频 要 高 得 多 ， 调 制 信 


号 也 有 : 定 的 频 市 宽度 。 

从 Elman 神经 网 络 的 机 理 上 看 ， 可 以 将 AM 已 调 波 信号 的 输入 看 成 是 时 瑾 中 的 信号 ， 网 络 
在 时 域 中 先 对 其 进行 识别 ， 而 已 调 波 的 包 络 可 以 看 成 二 维 平 面 上 的 曲线 ， 即 为 鹤 域 中 的 信号 模 
式 ，Elman 神经 网 络 在 空域 中 对 输入 回 量 的 模式 分 类 成 峰值 检 波 的 输出 。 
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Elman 神经 网 络 的 MATLAB 程序 代码 如 下 。 


clear ajl; 

% 定 义 输入 回 量 和 目标 问 量 。 
Time1=0:0.05:] .2”pl; 
T1=Timel/(1.S*pi)-0.5; 站 
TImne2=1.3*p1:0.053:33p1 
T2=1.$-Time2/(1.5*pi); 本 十 汪 
Time=[Timel Time2]; | 本 

9% 三 角 波 《目标 辐 量 ) 

工 =2*+[TI I2]; 

儿 调 幅 波 〈 输 入 回 量 ) 

p=(1+T).kscos(208YTime); 

驰 创 建 Elman 网 络 

net=newelmGmninmax(p),[20 1 { tansig' Purelin } ,traingdx ); 

多 训练 Elman 网 络 

Pq=con2seq(p); % 将 输入 同 量 矩阵 转换 为 输入 序列 
Tq=con2seq(T); 多 将 目标 向 量 矩 陡 科 换 为 目标 序列 
plot(Time,p;,Iime,1+ 工 民 -- ); 

pause， | 
net.trainParam.epochs= 500 加 


训练 的 误 莽 性 能 曲线 如 图 6-7 所 泵 , 到达 最 大 训练 步 长 S00 时 ,其 均 方 误差 mse=0.0186686 。 


Perfiormance isS 0D.0186686，4Goal 1S 0 


Training-BIue 


1n0 200 300 400 5U00 


站 
500 Epochs 
图 6-7 ”Elman 网 络 的 训练 误差 性 能 井 线 


运行 结果 如 下 。 


TRAINGDX, Epoch 0/500, MSE 0.456495/0, Gradient 3.78279/1e-006 
TRAINGDX, Epoch 25/500， MSE 0， 23 1006/0， Gradient 0. 573157/1e-006 


TRAINGDXK, Epoch 500/500， MSE 0. 0186686/0 Eee 0 0196215/ le-006 

TRAINGD>, Maxlmum epoch reached， performance goal was not met. 

(2) Elman 神经 网 络 的 MATLAB 仿真 程序 设计 。 

我 们 选用 了 三 角 波 、 正 弦 波 和 多 形 小 3 种 调制 信号 形成 的 已 调 波形 作为 测试 信和 号， 对 所 设 
计 的 Elman 神经 网 络 进行 仿真 ， 其 仿真 程序 如 下 。 

% 以 三 角 波 调制 进行 仿真 

Timel=0:0.09:2”Ppl; 

工 =Timel/(2*p1)-0.9; 

Time2=2#p1:0.05:4”*Ppl; 

T2=1.3-Tine2/(2<pl); 
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Timne=[Tmel Time2]: 


仿真 结果 显示 如 图 6-8 所 示 。 
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图 6-8 Elman 神经 网 络 对 于 不 同调 制 信号 的 仿真 结果 显示 


名 一 作 波 《目标 内 量 ) EC 
% 调 幅 波 “〈 输 入 向 量 ) 
bp=(1+T). WO 了 in， 
RN 于 5 
上 qd=con2seq(P); WE 到 网 二 se 和 
A=slImnetPq); 二 | RE 有 
Y=Seq2con(A): 
Subplot(322); 
pljot(Iime,Y{f1) Time'TT-- ， 
% 以 正弦 汲 调 制 进行 仿真 
=0.3*xsin(Time)， 
p=(1+ 了 .xcos(20*Timey); 
Subpjlot(323); 
plot(Time,p); 
上 q=con2seq(P); 
A=slimnet,Pq); 
Y=seq2con(A) 
Subplot(324); 
plot(Time'Y{fll,TimneTr | 人 
多 以 矩形 波 调制 进行 仿真 AU 
=U.3Y*Slgn(Simn(CTime)); 
p=(1|+1 .cos(20Y*Time); 
Subplot(323); 
plot(Iime,pP); 
Pq=con2seq(p); 
=SIm(net,Pq); 
Y=Seq2con(A); 
Subpjiot(320); 
plot(TLme,Y{T1 Tame,TT--)， 


图 6-8 中 ， 实 线 表示 输出 信号 ， 虚 线 表示 调制 信号 。 从 仿真 结果 看 ， 输 出 信号 和 调制 信号 
基本 吻合 ， 所 设计 网 络 可 以 很 好 地 完成 不 同调 制 信号 、 不 同调 幅度 的 峰值 检 波 ， 输 出 波形 中 的 
余波 可 以 通过 低 通 滤波 器 滤 除 
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6.3 Hopfield 网 络 及 MATLAB 程序 





Hopfield 网 络 最 初 是 由 美国 物理 学 家 JJ Hopfield 于 1982 年 首先 提出 的 ， 故 称 为 Hopfield 
网 络 。1985 年 Hopfield 本 人 和 Tank 用 这 种 网 络 模型 成 功 解决 了 优化 组 合 问题 中 的 县 有 典型 意 
义 的 有 乒 行商 问题 TSP， 在 所 有 随机 选择 的 路 径 中 找到 了 十 万 分 之 一 的 最 优 路 径 ， 这 是 当时 神经 
网 络 研究 工作 中 有 具有 突破 性 的 进展 。 

Hopfield 网 络 作 为 一 种 全 连接 型 的 神经 网 络 ， 曾 经 为 人 工 神 经 网 络 的 发 展 进程 开辟 了 新 的 
研究 途径。 它 利 用 与 阶层 型 神经 网 络 不 同 的 结构 特征 和 学 习 方 法 ， 模 拟 生 物 神经 网 络 的 记忆 机 
理 ， 获 得 了 令 人 满意 的 效果 。Hopfield 网 络 有 离散 型 和 连续 型 两 种 形式 。 这 里 只 介绍 离散 型 
Hopfield 网 络 ， 因 为 离 敢 型 Hopfield 网 络 的 结构 比较 简单 ， 在 实际 工程 中 的 应 用 比较 广泛 。 


6.3.1 Hopfield 网 络 介绍 


Hopfield 网 络 结构 如 图 6-9 所 示 ， 拓 是 一 种 单 层 反馈 非 线 性 网 络 ， 每 一 个 点 的 输出 均 反 
馈 到 其 他 贡 点 的 输入 ， 整 个 网 络 都 不 存在 目 反 馈 。 





疼 6-9 ”Hopfield 网 络 结构 


JJHopfield 利用 模拟 电路 〈 电 阻 、 电 容 和 运算 放大 天 ) 实现 了 对 网 络 闻 点 《神经 元 ) 的 摘 
述 ， 如 图 6-10 所 未 。 


图 6-10 Hopfield 神经 元 的 模拟 电路 
假设 网 络 共有 产 个 这 样 的 昼 经 元 组 成 ， 可 得 出 


da 1 1 
上 
六 三 上 (2 (02 


其 中 ， 芝 =1，y=W，T=RC，0O=1/AC，Wi=LR，w=0， 几 =Wr， 且 
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R 

由 此 可 见 ，R; 污 的 并 联 模 拟 了 生物 神经 元 的 时 间 常 数 ，Wy 模拟 了 神经 元 间 的 突 触 特性 
即 权 值 ， 运 算 放 大 器 模拟 了 神经 元 的 非 线 性 特性 ， 偏 置 电 流 厂 相当 于 效 值 。 

Hopfield 网 络 是 渐 近 稳定 的 ， 随 看 时 间 的 推移 ， 网 络 状 态 向 能 量 减 小 的 方向 移动 ， 稳 定 平 
衡 状 态 怠 是 能 量 的 极 小 点 。 因 此 ， 如 入 网 络 的 初始 状态 在 稳定 平衡 状态 ， 则 其 状态 不 变 ; 否则 ， 
网 络 再 要 运动 到 稳定 平衡 状态 。 

6.3.2 ”Hopfield 网 络 的 学 习 

网 络 的 学 习 过 程 实际 上 就 是 权 值 调整 过 程 ，Hopfield 网 络 的 学 习 目 的 就 是 调整 连接 权 值 ， 
以 使 得 网 络 的 稳定 平衡 状态 束 是 所 要 求 的 状态 。 

Hopfield 网 络 常 采用 的 学 习 算 法 是 Hebb 学 习 规 则 ， 即 权 值 调整 规则 为 : 若 第 个 和 第 /个 
伸 经 元 同时 处 于 兴 理 状态 ， 那 么 它们 之 间 的 连接 增强 ， 权 值 增 大 。 


] 
R_ 。 传递 汪 数 Jo 为 SS 函数。 


和 AT 一 人 Q > (6-3 ) 


假设 要 求 网 络 有 忆 个 正 交 稳 态 凡 =( 卫 ,全 2 ) ，=12…,， 风 


万 
Wi = 》 TV TV (6-4 
一 | 
行 增 加 新 的 稳 态 太 2 ， 则 
1 人 VTY (6- 和 ) 


6.3.3 Hopfield 网 络 的 儿 个 重要 绪论 

(1) 联想 记忆 功能 。 由 于 网 络 可 以 收 敏 于 稳定 状态 ， 因 此 可 用 于 联想 记忆 。 若 将 稳 态 视 为 
“个 记忆 ， 则 由 初始 状态 向 稳 态 收敛 的 过 程 就 是 寻找 记忆 的 过 程 ， 初 始 状态 可 认为 是 给 定 了 部 
分 倩 息 ， 收 敏 过 程 可 认为 是 从 部 分 信息 找到 了 全 部 信息 ， 实 现 了 联想 记忆 的 功能 。 

(2) 优化 计算 。 各 将 稳 态 视 为 某 - -优化 问题 目标 函数 的 极 小 点 ， 则 由 初始 状态 向 稳 态 收敛 
的 过 程 怠 是 优化 计算 过 程 。 

(3) 网 络 渐 近 稳 定 的 玉 提 是 Wi 三 多 1 

(4) 网 络 的 应 用 。Hopfield 网 络 多 用 于 在 控制 系统 的 设计 中 求解 约束 优化 问题 ， 另 外 在 系 


统 辨识 中 也 有 应 用 。 

6.3.4 Hopfield 网 络 的 MATLAB 程序 
【 例 6-3】 含有 两 个 神经 元 的 Hopfield 网 络 的 设计 实例 。 
其 完整 的 MATLAB 代码 如 下 。 


了 =|1 -1:-1 ]]: 
儿 男 出 Hopfield 网 络 的 状态 空间 和 网 个 稳定 操 
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plot( 工 (1 工 (2,), 十 广 
axXls([-1.1 1.1 -1.1 了 .1 
纺 建 立 Hopfield 网 络 
net=newhop(T ); 
for 1=1:20 
A={rands(2 ,1 
[TY ,PfAfi=simnet, [1 20 人 人 7 
Rd=[cellj2mat(A) cell2mat(Y)]: 
St=cel2mat( Ah)， 
hold on， 
% 男 出 网 络 状态 的 变化 轨迹 
pliot(CSt(1L 1)ot2 1 , 民 dCL)RRdC2)); 
end 


程序 运行 结束 如 图 6-11 所 示 ， 图 中 的 “* ”符号 表示 网 络 鸭 各 要 始 状态 。 





-1 -已 .5 避 . 
图 6-11 两 神经 元 Hopfield 网 络 显示 结果 


【 例 6-4】 设 计 …- 个 含有 三 神经 元 的 Hopfield 网 络 。 
其 完整 的 MATLAB 代码 如 下 。 


=(1 -1-1;-111|; 
力 男 出 Hopfield 网 络 的 状态 空间 和 了 两 个 稳定 局 
plot3(T(1,:),T(2,.:);T(3), 二); 
aXlS(1-1.1 1.1 -1.111 -1.1 了 1 
axXlS Imanual: 
Set(gca, box , On ); 
View([36.3 3 ); 
多 建立 Hopfield 网 络 
net=newhopt TI); 
for 一 1:20 
A={frands(3,1]) 
[Y,Pf. ATj=simnet,11 201 1,A); 
Rd=[cellj2mat(A) cell2mat(Y 诈 ; 
St=cellj2mat(A): 
hold oni; 
% 画 出 网 络 状态 的 变化 轨迹 


plot3(St(1 ,HSt2 1)NSt3 1 站, 人 QU) RdC2 Rd)); 


end 


1 


程序 运行 效果 如 图 6-12 所 示 ， 图 中 “* ”符号 表示 网 络 的 各 争 始 状态 。 


人 本 本 本 卫 


如 于 


NMATLAB 神经 网 络 仿 真 与 应 用 





图 6-12 ”三 神经 元 Hopfield 网 络 显 示 结 果 


6.3.5 Hopfield 网 络 基于 数学 识别 


字符 识别 是 计算 机 模 陈 识别 的 一 个 重要 方面 。 作 为 字符 识别 的 组 成 部 分 之 - :的 数组 识别 在 
时 至 、 交 通 及 商业 宗 据 管理 方面 有 看 极 局 的 应 用 价值 。 目 前 有 很 多 种 方法 用 于 字符 识别 ， 主 要 
分 为 神经 网 络 识 别 、 概 率 统计 识别 和 模糊 识别 等 。 近 年 来 ， 神 经 网 络 识 别 技术 发 展 较 快 ， 由 于 
县 本 屿 具有 有 目 尝 习 和 目 组 织 等 优 民 特性 而 日 蔓 受 到 重视 。 目 前 ， 对 印刷 体 的 字符 识 曾 技术 已 经 
比较 成 器 了 了 ， 而 手 与 体 字 人 符 由 于 书 与 者 的 因 率 ， 使 得 字符 图 像 的 随 头 性 很 大 ， 比 如 笔画 的 粗 绸 、 
字体 的 大 小 、 手 号 体 的 倾 和 任 度 和 局 部 扭曲 等 直接 影响 到 字符 的 正确 识 曾 。 因 此 ， 平 写 体 字符 的 
识别 十 字符 识别 领域 最 有 挑战 性 的 诛 题 。 

【 例 6-5】 放 计 一 个 Hopfield 网 络 ， 使 其 具有 联想 记忆 功能 ， 能 正确 识 曾 阿拉 们 数字 ， 当 数 
学 梓 蝇 声 污染 后 仍 可 以 正确 地 识别 。 

假设 网 络 由 10 个 雪 始 稳 态 值 0~9 构成 ， 即 可 以 记忆 10 种 数字 。 每 个 稳 仿 由 10X 10 的 生 
阵 构 成 ， 芭 所 阵 用 于 模拟 阿拉 们 数字 总 阵 。 所 谓 数 字 点 阵 ， 束 是 将 数字 划分 成 很 多 小 方块 ， 每 
一 个 小 方块 部 对 应 看 -部 分 数字 。 这 里 将 数字 划分 成 -个 10x 10 方 阵 ， 其 中 ， 有 颜色 的 方块 
用 工 表 未， 衬 日 处 用 -1 表示 ， 如 图 6-13 所 示 。 


图 6-13 数字 1 的 数字 点 阵 

这 样 -: 来 ， 驶 有 

one=|-1 -1-11111-1-1-1:-1-1-11111-1-1-1-1-1-11111-1-1-1:-1-1-11111-1-1-1: 
-] -1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1:-1-1-11111-1-1-1: 
-1]-1-11111-1-1-1:-1-1-11111-1-1-1: 

two=[1L1111111-1-1:11111111-1-1:-1-1-1 
111111-1-1:111141111-1-111-1-1-1- 
111-1-111111111-1- 惑 ; 


由 于 篇 幅 问 题 ， 这 里 只 列 出 1 和 2 的 氮 阵 表示 形式 。 利 用 这 两 个 同 量 构成 一 个 训练 样本 ， 


1 -1 1-1-111-1-1;11 
-1-1-1-111-1-1311111 


并 由 此 构建 一 个 Hopfield 网 络 。 
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=|oneitwo| : 

net=newhop(TI); 

下 面 给 出 一 个 受 噪 声 污 染 的 数字 2 的 点 阵 No2。 

No2={[L1I1LI-111-11-1-111111111-1-1-11-11-1-111-1-1-1-11-11-111-1-1;11 
IIlillI-1I-l1ILILIITILLLI-I-I111-1-1-1-1-1-1-1-1:11-1-1-1-1-1-1-1-1:;111-1 
1111-1-1;111-11111-1-1 

接 下 来 芝 试 利用 刚刚 创建 的 Hopfield 网 络 将 受到 噪声 污染 的 数字 2 识别 出 来 。 

tu2=Slmnet,{1.91 1 No2)， 

tu213 上 上 

结果 为 

ansg = 三 
II1111111-1-1;11111111-1-1;-1-1-1-1-1-111-1-1-1-1-1-1-1-111-1-1511 
1]11111-1-1;11111111-1-]1:;11-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-111:1111 
1111-1-1;11111111-1-1: 

结 未 和 数字 2 的 正章 点 阵 是 一 和 致 的 ， 说 明 网 络 从 受到 污染 的 数字 2 的 点 阵 中 识 弄 出 了 数字 

2， 此 网 络 是 有 效 的。 


6.4 联想 记忆 


联想 记忆 (Associative Memory，AM) 是 神经 网 络 理 论 的 一 个 重要 组 成 部 分 ， 也 是 神经 网 
络 用 于 智能 探 制 、 模 式 识 别 和 人 了 丁 智能 等 领域 的 :个 重要 功能 。 它 主要 利用 神经 网 络 的 民 好 容 
锚 性 , 能 使 不 完整 的 、. 污 损 的 、 畸 变 的 输入 样本 恢复 完整 的 怕 型 , 适 于 识 列 .分 基 等 用 途 .Hopfield 
网 络 模拟 了 生物 神经 网 络 的 记忆 功能 ， 也 第 章 和 被 称 为 联想 记忆 网 络 。 


6.4.1 联想 记忆 的 基本 概念 


人 类 具有 联想 的 功能 ， 同 以 从 一 种 事物 联系 到 其 相关 的 事物 或 其 他 事物 。 人 工 神 经 网 络 走 
对 生物 神经 网 络 的 模拟 ， 也 具有 联想 的 功能 。 人 工 神 经 网 络 的 联想 就 是 指 系统 在 给 定 一 组 刺 汕 
倍 号 的 作用 下 ， 该 系统 能 联想 出 与 之 相对 应 的 信号 。 联 想 记 忆 的 过 程 卫 是 信息 的 存 取 过 程 。 数 
字 计 算 机 的 信息 存 取 方式 是 按 地 址 存 取 方式 (Addressable Memory )， 即 一 组 信息 对 应 看 一 定 的 
存储 单元 。 神 经 网 络 信息 的 存 取 或 记忆 与 联想 ) 是 以 基于 内 容 的 存 取 尿 理 为 基础 的 ， 记 忆 地 
引 通 过 记忆 内 容 的 部 分 描述 来 识别 。 所 以 这 里 所 请 的 联想 记忆 也 称 为 基于 内 容 的 存 取 
(Contentraddressed Memory )， 信 息 被 分 布 于 生物 记忆 的 内 容 之 中 ， 而 不 是 茶 个 确定 的 地 址 。 

联想 记忆 网 络 是 通过 神经 元 之 间 的 权重 学 习 规 则 来 调整 神经 元 间 的 权重 隐 ， 从 而 得 到 各 事 
物 间 的 联系 。 各 神经 元 闻 的 权重 共同 表现 为 神经 网 络 的 联想 记忆 功能 。 因 此 ， 联 想 记 忆 的 神经 
网络 是 出 突 触 权 重 和 连接 结构 来 对 信息 进行 记忆 。 这 种 分 布 式 能 存储 较 多 的 模式 ， 能 够 在 一 定 
的 程度 上 恢复 残缺 的 不 完整 信息 。 因 而 ， 它 可 以 应 用 在 图 像 复 原 、 模 式 识别 等 领域 ， 并 有 具有 网 
个 比较 蜂 出 的 优点 。 

@ 信息 的 存储 是 按 内 容 存 储 记 忆 的 《Content Addressable Memory，CAM)7， 而 传统 的 计 

算 机 是 基于 地 址 存储 的 。 
@@ ”信息 的 存储 是 分 布 的 ， 而 不 是 集中 的 。 
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1， 联 想 记 忆 的 分 类 

从 作用 方式 来 看 ， 联 想 记 忆 分 为 线性 联想 与 非 线性 联想 : 从 状态 来 看 ， 又 可 分 为 静态 联想 与 
动态 联 力 。 但 在 通 汕 情况 下 ， 人 们 把 联想 记忆 分 为 自 联 想 与 异 联 想 。Hopfield 网 络 属于 自 联 想 。 

1 ) 自 联 想 记 忆 (Auto-asseciative Memery ) 

目 联 力 能 将 网 络 中 输入 模式 了 映 射 到 存储 在 网 络 中 不 同 模式 中 的 一 种 模式 。 联 想 记 忆 网 络 不 
仅 能 将 输入 和 模 陈 肌 射 为 月 己 所 存储 的 模式 ， 而 且 还 能 对 具有 缺损 或 噪声 的 输入 模式 有 一 定 的 容 
铬 能 力 。 

设 在 学 习 过 程 中 给 联想 记忆 网 络 存 入 M 个 样本 : {X ) ，i=12…,M 。 若 给 联想 记忆 网 络 
加 以 翘 入 和 =X7" + ， 其 中 X" 是 M 个 学 习 样本 之 一 ，Y 是 偏差 项 《〈 可 代表 噪声 、 缺 损 与 畸 
变 等 )， 通 过 目 联 想 记 忆 网 络 的 输出 为 X” ， 即 使 之 复原 《比如 : 破损 照片 一 完整 照片 )。 

一 般 情 况 下 ， 目 联想 的 输入 与 输出 模式 具有 相同 的 维 数 。 

2 ) 异 联想 记忆 (Hetero-associative Memeory ) 

最 时 的 异 联想 网 络 模型 是 Kosko 的 双 回 联想 记忆 神经 网 络 。 异 联想 网 络 在 受到 具有 一 定 噪 
声 的 和 输入 模 却 激 友 时 ， 能 通过 状态 的 演化 联想 到 怕 来 样本 的 模式 对 。 

假定 两 组 模式 对 之 间 有 一 定 的 对 应 关系 ， 和 一 了 (如 : 某 人 照片 一 某 人 姓名 )， 
三 2 。 若 给 联想 记忆 网 络 加 以 输入 X =X7” +Y ， 比 如 和 为 某 人 的 破损 照片 ， 通 过 异 
联想 记忆 网 络 的 输出 为 yy ， 即 得 到 茶 人 的 姓名 。 

守 联 想 的 输入 模式 维 数 与 输出 模式 一 般 不 相等 。 异 联想 可 以 由 自 联 想 通 过 映射 得 到 

2. 联想 记忆 的 工作 过 程 

联想 记忆 的 工作 过 程 分 为 两 个 阶段 : 一 是 记忆 阶段 ， 也 称 为 存储 阶段 或 党 习 阶 段 ， 二 是 联 
息 阶 段 ， 也 称 为 恢复 阶段 或 回忆 阶段 。 

1] ) 记忆 阶段 

往 刀 忆 阶 段 融 是 通过 姑 计 或 党 习 网 络 的 权 值 ， 使 网 络 具 有 在 干 个 模 定 的 平衡 状态 ， 这 些 稳 
定 的 平衡 状态 也 称 为 吸引 子 〈Attractor)， 吸 引子 有 一 定 的 吸引 域 (Basin of Attraction )。 吸 引子 
的 吸引 域 束 是 能 够 禄 定 议 吸引 子 的 所 有 初始 状态 的 集合 ， 吸 引 域 的 大 小 用 吸引 半 径 来 描述 ， 吸 
引 半 答 可 定义 为 : 吸引 域 中 所 含 所 有 状态 乙 间 的 最 大 距离 或 吸引 子 所 能 吸引 状态 的 最 大 距离 。 

了 豚 引 子 也 束 定 联想 记忆 的 网 络 能 量 困 数 的 极 值 点 ; 刀 忆 过 程 束 是 将 要 记忆 和 存储 的 模式 设 
证 或 划 练 成 网 络 鹃 引子 的 过 程 。 

2 ) 联 宁 阶 段 

联想 过 程 怠 是 给 定 输入 模式 ， 联 想 记 忆 网 络 通 过 动力 学 的 汗 化 过 程 达 到 稳定 状态 ， 即 收 贷 
到 鹃 引子， 回忆 起 已 存储 模式 的 过 程 。 

吸引 子 的 数量 代表 看 联想 记忆 网 络 的 记忆 容量 (Memory Capacity) 或 存储 容量 〈Storage 
Capacity ), 人 存储 容量 焉 是 在 一 定 的 联想 出 销 概 率 容 限 下, 网 络 中 存储 互 不 干扰 样本 的 最 大 数目 。 
存储 容量 与 联想 记忆 的 允许 误差、 网 络 结构 、 学 习 方 式 以 及 网 络 的 设计 参数 有 天。 人 简单 来 说 ， 

- 定 的 网 络 其 吸引 子 越 多 ， 则 网 络 的 存储 容量 就 越 大 。 吸 引子 具有 一 定 的 吸引 域 ， 吸 引 域 是 衡 
量 网 络 容 钳 性 的 指标 : 吸引 坡 越 大 ， 网 络 的 容 钳 性 能 越 好 ， 或 痢 说 网 络 的 联想 能 力 束 越 绰 。 


6.4.2 ”Hopfield 联想 记忆 网 络 


如 前 所 述 ，Hopfield 网 络 是 一 个 神经 动力 学 系统 ， 具 有 稳定 的 平衡 状态 ， 即 存在 春 吸 引子 ， 
因而 Hopfield 网 络 具 有 联想 记忆 功能 。 将 Hopfield 网 络 作 为 联想 记忆 网 络 需 要 设计 或 训练 网 络 
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的 权 值 ， 使 吸引 子 存储 记忆 模式 。 比 如 ， 现 在 欲 存 储 严 个 于 维 的 记忆 模式 ， 那 么 就 要 设计 网 络 
的 权 值 使 这 闵 个 模式 正好 是 网 络 能 量 函 数 的 严 个 极 小 值 。 常 用 的 设计 或 学 习 算 法 有 :， 外 积 法 
COuter Product Method )、 投影 学 习 法 (Projection Learning Rule)、 伪 道 法 (Pseudo Inverse Method ) 
以 及 特征 绪 构 法 〈Eigen Structure Method ) 等 。 

现 考虑 离散 Hopfield 网 络 的 联想 记忆 功能 。 设 网 络 有 个 神经 元 ， 每 个 神经 元 均 取 ] 或 -1 
一 值 ， 则 网 络 共有 2 个 状态 ， 这 2” 个 状态 构成 离散 状态 空间 。 设 在 网 络 中 存储 严 个 于 的 记忆 


1 (6-6 ) 


采用 外 积 法 设计 网 络 的 权 值 使 这 瑚 个 模式 是 网 络 22 个 状态 空间 中 的 严 个 稳定 状态 ， 即 
Wi 本 y 7/ 拓 全 1 三 1 27 (6-7) 
人 F= 


式 中 ，L/ N 为 调节 比例 的 常量 ， 这 里 取 灵 = N 。 考 虑 到 离散 Hopfield 网 络 的 权 值 满足 条 件 
| 一 外 间 ， 儿 六 三 局 ; 则 和 有 


] 于 
一 》 上 0， 了 天 1 


ww =17 候 (6-8) 
U， =:; 
将 式 〈6-8) 用 矩阵 形式 表示 ， 则 有 
| 及 
克 -| 衬 -my| (6-9) 
天 一 1 


式 中 , 了 为 于 X 天 的 单位 宦 阵 。 

以 上 是 离 人 散 Hopfield 网 络 的 存储 记忆 过 程 ， 下 面 册 看 其 联想 回忆 过 程 。 从 所 记忆 的 闫 个 模 
式 中 任 选 -模式 局 ， 经 过 编码 可 使 其 元 素 取 值 为 1 和 -1。 设 离 若 Hopfield 网 络 中 神经 元 的 俩 差 
均 为 堆 。 将 模 陈 也 加 到 该 离散 Hopfield 网 络 ， 假 定 记忆 模式 天 量 彼此 是 正 交 的 〈 这 是 个 特例 ， 
容易 检验 )， 则 网 络 的 状态 为 


OU 天 1? 
LU D | E 7 (6-10 ) 
HL =: 
| 下 
WU -| 袜 wo -到 =o-o (6-11) 
大 一 ] 


状态 的 污 化 为 : Sgn( 了 WUD))=Sgn((a -mm )=1 ， 可 见 网 络 福 定 在 模 陈 也，。 


例如 ， 对 于 两 个 记忆 模式 [1.-1.1] 和 [=-1.1.-1] (这 是 一 个 记忆 模式 矢量 非 正 交 的 例子 )。 
按 式 〈6-8) 设计 网 络 权 值 为 


站 站 一 三 国 Try 本 


ER 


0 as 


0 
歼 =-| -2 0 一 
2 


可 见 芭 权 值 满足 离 若 Hopfield 网 络 的 条 件 。 现 将 [1,-1,1] 作为 网 络 的 输入 ， 则 有 


0 -2 2 | 4 
Wy = 一 |-2 0 一 -1 有 一 4 
3 3 
2 -2 0 1 才 
] 
9gnlHyy]=| 一 = 多 
] 


可 见 状 态 [1.-1.1] 为 网 络 的 稳定 状态 ， 即 网 络 记 住 了 该 状态 。 同 样 ， 对 状态 向 量 [-1.1.-1] 
而 言 ， 有 
U -2 221- 一 4 
2 --2 0|=! 一 4 


egnlWy,]=| 上 | = 了 ， 
一 ] 


可 见 状 态 [-11-1] 也 为 网 络 的 稳定 状态 ， 即 网 络 也 记 住 了 该 状态 。 
6.4.3 ”联想 记忆 网 络 的 运行 步 又 
第 ， 步 : 设 定 记忆 模 式 。 将 欲 存储 的 模式 进行 编码 , 得 到 取 值 为 1 和 -1 的 记忆 模式 ( 严 > ma ): 


大 大 大 K 1T 工 = 
Li 三 [2 | 民 晤 上 罗 本 本 而 < 


第 二 步 : 设计 网 络 的 权 值 。 


] /了 二 8 
RE Ai， 了 天 1 四 
H =1N 操 ， 其 中 Wi 是 神经 元 7 到 的 突 触 权 值 ， 一 旦 计算 完毕 ， 突 触 权 
0， =; 
值 将 保持 不 变 。 


第 一 步 : 初始 化 网 络 状态 。 将 和 欲 识别 模式 世 = [o, 友 ,, 必 ,…, 玫 开设 为 网 络 状态 的 初始 状 
态 ， 即 (0) = 大 ，7(0) 是 网 络 中 任意 神经 元 1 在 !=0 时 刻 的 状态 。 
第 四 步 : 迭代 收敛 。 根 据 公 了 


RNW 
vt 十 ]) -| 袜 | | 


7=| 


第 6 童 反馈 神经 网 络 及 其 应 用 





随机 地 更 新 某 一 神经 元 的 状态 ， 反 复 和 迭代 直至 网 络 中 所 有 神经 元 的 状态 不 变 为 止 ， 假 设 此 


时 的 上 !=! 。 

第 五 步 ， 网 络 输出 。 这 时 的 网 络 状态 〈 稳 定 状 态 ) 即 为 网 络 的 输出 了 了 =) 。 

以 上 的 第 一 步 和 第 二 步 是 联想 记忆 网 络 的 记忆 过 程 ， 第 三 步 至 第 五 步 所 组 成 的 友 代 过 程 赴 
联想 记忆 网 络 的 联想 过 程 。 

对 于 以 上 所 介绍 的 Hopfield 联想 记忆 网 络 ， 需 要 做 几 氮 说 明 。 

(1) 以 上 所 介绍 的 Hopfield 联想 记忆 网 络 的 激励 函数 为 符号 函数 ， 即 神经 元 的 状态 取 1 和 
-1 的 情况 。 对 于 联想 记忆 网 络 的 激励 函数 为 阶 跃 函 数 ， 即 神经 元 的 状态 取 1 和 0 时 ， 相 应 的 公 
式 有 所 变化 。 设 在 网 络 中 存储 严 个 严 维 的 记忆 模式 〈 闫 > 有 ) 


DJ 一 [0 (6-12 ) 


式 中 , 天 =12,…;71 ;=12 ,12 EtO] 
对 xx e { 一 LI 的 情况 ， 前 面 已 经 讨论 过 了 ， 而 当 上 ze {0.1) 时 ， 可 以 进行 一 个 变换 ， 即 使 
得 (2 -TDe{-L ， 所 以 用 (2 一 D 代 换 前 面 公式 中 的 帮 即 可 


一 》 COkt -DC 一 了 了 尖 
5 一 3 开 大 =! (0-13 ) 


器 


0， =; 
算 阵 形式 为 
| 开 
醋 - 间 衬 cc 一 瑟 )(C277。 -Bo 中] (6-14 ) 
大 一 ] 


芭 中 ， 吾 ,> = (L1…,D ， 兄 i>n 0 ? 7 了 表示 单位 阵 。 其 联想 回忆 过 程 同 上 面 讨 论 过 的 。 
例如 ， 对 于 两 个 记忆 模式 [1.0,1] 和 [0,1.0]， 按 式 〈6-14) 设计 网 络 权 值 为 


0 -2 2? 
本 
EU 








可 见 该 权 值 满足 离散 Hopfield 网 络 的 条 件 。 现 将 【10,1] 作为 网 络 的 输入 ， 则 有 





0 -2 2 | 2 
Wy =-|-2 0 -20==| 一 4 
了 了 
2 -2 0|11 少 
] 
三 (YYy = 0U | 三 儿 
| 


可 见 状态 [1.0,1] 为 网 络 的 稳定 状态 ， 即 网 络 记 住 了 该 状态 。 同 样 ， 对 状态 向 量 [0,1.0] 而 言 ， 有 
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0 


j 厂 (yy2)= ] 一 > 
OU 


可 见 状态 【0,1.0] 也 为 网 络 的 稳定 状态 ， 即 网 络 也 记 住 了 该 状态 。 

(2)Hopfield 联想 记忆 网 络 的 记忆 容量 C 反映 了 所 记忆 的 模式 个 数 下 和 神经 元 的 数目 N 之 
间 的 关系 : w=my/N 。 记 忆 闫 个 模式 所 需 的 神经 元 数 N = 天 /CC ， 连 接 权 值 数 目 为 (mV/a)”， 
若 C 妈 增加 一 倍 ， 连 接 权 值 数 目 降 为 原来 的 1U4， 这 是 一 对 矛盾 。 在 技术 实现 上 也 是 很 困难 的 。 
Hopfield 通过 实验 和 理论 研究 发 现 ， 网 络 大 约 能 仓储 0.1$ AN 个 记忆 模式 。 近 年 来 ， 人 们 对 网 络 
的 记忆 容量 进行 了 很 多 研究 ， 发 现 了 一 些 提 高 记忆 容量 的 方法 ， 比 如 利用 具有 优化 选择 非 单调 
性 的 Hopfield 联想 记忆 网 络 ， 可 使 其 记忆 容量 达到 0.4WN 。 

(3) Hopfield 联想 记忆 网 络 存在 伪 状 态 CSpurious States)， 伪 状态 是 指 除 记忆 状态 之 外 的 网 
络 多 余 的 稳定 状态 。 从 以 上 对 Hopfield 联想 记忆 网 络 的 分 析 可 见 ， 要 构成 一 个 对 所 有 输入 模式 
都 很 合适 的 Hopfield 联想 记忆 网 络 是 很 不 容易 的 ， 需 要 满足 的 条 件 是 很 苛刻 的 。 所 记忆 的 模式 
了 过 大 ， 权 值 年 阵 环 中 会 存在 知 干 个 相同 的 特征 值 ， 所 记忆 的 模式 闫 小 于 神经 元 的 数 月 A， 
权 值 矩阵 三 中 会 存在 若干 个 0， 构 成 所 谓 的 零 空 辐 。 因 此 ， 雪 空间 和 他 在 于 网 络 中 ， 和 零 空 国 是 
Hopfield 网 络 的 一 个 固有 特性 ， 即 Hopfield 联想 记忆 网 络 不 可 避免 地 存在 着 伪 状 态 。 

(4) 网 络 的 平衡 稳定 点 不 可 以 任意 设置 ， 也 没有 一 个 通用 的 方法 事先 知道 平衡 稳定 点 。 如 
果 使 用 外 积 学 习 算 法 ， 当 记忆 模式 矢量 彼此 正 交 时 ， 可 以 联想 出 正确 结果 ， 而 当 它 们 不 正 交 时 ， 
就 必须 满足 一 定 和 条件， 才能 进行 正确 联想 。 一 个 判别 样本 是 否 稳定 的 简单 有 效 的 方法 由 以 下 定 
峙 给 出 。 

定理 : 已 经 严 个 严 维 的 记忆 模式 析 ， =[ si] 天 二 2 7123 一 12。 
则 为 稳定 样本 的 充 要 条 件 是 : 对 一 切 1=12…… 严 ， 都 有 


6.4.4 联想 记忆 了 网络 的 改进 


在 讨论 联想 记忆 网 络 的 改进 前 ， 首 先 要 明确 对 联想 记忆 网 络 的 基本 要 求 ， 这 藉 是 : 

(1) 联想 记忆 网 络 须 具 有 较 大 的 记忆 容量 。 

(2) 网 络 联想 记忆 须 具 有 一 定 的 容错 性 ， 即 吸引 子 要 有 一 定 的 吸引 域 。 

03) 是 技术 可 实现 的 。 

这 三 者 是 一 个 统一 的 整体 ， 而 容错 性 则 是 其 核心 ， 没 有 容 儿 性 就 谈 不 上 联想 ， 容 铅 性 的 优 
劣 是 由 各 吸引 子 吸 引 域 的 大 小 与 形状 所 决定 的 。 
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联想 记忆 网 络 的 根本 问题 乙 一 融 是 除 存 在 记 有 记忆 样本 的 吸引 子 之 外 ， 还 有 “多 余 ” 的 稳 


定 状态 即 伪 状 态 存 在 ， 伪 状态 的 存在 影响 到 联想 记忆 网 络 的 容错 性 。 若 能 减 小 甚至 消除 伪 状 态 
的 吸引 域 ， 就 可 提高 联想 记忆 网 络 的 容错 性 ， 增 大 记忆 容量 。 

为 此 可 从 系统 的 三 个 方面 考虑 ; 

(1) 调节 系统 的 动力 学 特性 ， 但 为 了 利用 系统 的 并 行 性 ， 同 步 动力 学 是 必要 的 。 

(2) 改变 网 络 权 值 窍 阵 的 设计 或 党 习 算 法 ， oraeowoa 
伪 逆 法 或 特征 综 构 法 等 。 这 些 方 法 者 是 人 为 设 定 的 ， 因 有 较 好 的 性 能 而 常 被 采用 。 但 从 优化 的 
角度 看 ， 它 们 并 非 是 最 优 的 。 gog 应 充 
分 发 挥 神经 网 络 可 和 尝 习 性 这 一 优点 ， 用 训 红 方 法 使 之 自动 找 出 最 优 或 较 优 解 。 这 些 方法 着 眼 于 
使 样本 被 “ 记 住 ”及 提高 记忆 容量 上 ， 而 忽略 了 对 其 容错 性 的 若 虑 。 

(3) 修改 钊 经 元 隐 激 励 范 数 ， 对 于 激励 曲 数 党 用 的 是 符号 喝 数 ， 也 可 采用 连续 单调 六 数 作 
为 激励 图 数 ， 即 采用 连续 的 Hopfield 网 络 ， 连 续 型 Hopfield 网 络 对 于 高 维系 统 建立 的 是 高 阶 非 
线性 微分 方程 ， 是 非常 难以 模拟 和 实现 的 。 而 取 二 值 或 多 值 的 离散 型 Hopfield 网 络 ， 通 过 合适 
长 度 的 二 进 制 编 镶 ， 可 以 任意 精度 表示 任意 实数 ， 而 且 所 占用 的 存储 空间 较 小 。 


6.4.5 Hopfield 神经 网 络 应 用 于 联想 记忆 的 MATLAB 程序 


【 例 6-6】Hopfield 神经 网 络 用 于 联想 记忆 。 假 设 希 望 构造 一 个 联想 记忆 模型 ， 这 个 横 型 能 
够 识别 出 如 图 6-14 所 示 的 4 个 数字 。 


下 


多 6-14 待 识别 数 子 的 8X7 二 信 化 图 像 





C1) 问题 分 析 。 

图 6-14 所 不 一介 化 数 子 图像 为 二 维 图 像 ， 咎 以 0 表示 数字 笔画 划 过 的 小 方块 ， 以 1 表示 数 
字 笔 画 未 划 过 的 小 方块 ， 则 Hopfield 网 络 需 要 36 个 神经 元 表示 各 方块 的 状态 ， 同 时 要 求 日 标 
回 量 是 一 维 的 ， 用 一 维 癌 量 表示 。 

例如 ， 数 字 “7” 的 目标 向 量 如 下 。 


工 7=[0000000 
0000000 
Il111100 
1111100 
11111090 
il110011 
]110011 
1]11001 吉 ; 


(2) 设计 Hopfield 神经 网 络 的 MAILAB 程序 。 


T7=[0000000 
0000000 
11111090 
11111090 
1111100 
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1110011 
II110011 
tt0o0l1l]; 
>> Clear all: 
T7=[0U000000 
0000000 
1]111100 
]111100 
1111100 
1110011 
1110011 
1110011]: 
T>=[0000001 
UU000001 
OU1llll1I1j 
OU11111 
1000011 
1111100 
111114100 
UU0000111: 
T4=[0U11001 
UU11001j 
0011001 
UULI1001 
0U0000 1 
0000001 
1111001 
1]111001: 
T9=[llloo0oll 
1001100 
1001100 
1]1001100 
1100000 
]11L11100 
1111100 
1]111100]; 
多 形成 总 的 目标 同 量 
=[I7 TI3 T4 工 9]; 
吃 设 计 Hopfield 网 络 
net=newhop(Ty); 


(3) Hopfield 神经 网 络 的 MATLAB 仿真 程序 设计 。 
以 加 噪 并 且 产 生 畸 伙 的 数字 “7” 作 为 测试 对 象 ， 对 所 设计 的 Hopfield 神经 网 络 进行 仿 走 。 
T7=[0000000 
0000000 
1111100 


11ll1100 
1111100 
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il110011 
1]1110011 
1110011|: 

Subplot(1 二]); 

% 绘 制 测 试 样本 二 从 化 图 像 
但 gt 工 7); 

% 网 络 仿真 
y=SIImnnet,] ,| ], 工 7 
多 二 人 化 

Yy=y>U.>; 

Subpjot(122): 

多 仿真 输出 二 值 化 图 像 
fgt(y) 


仿真 结果 如 图 6-15 所 示 。 从 结果 上 可 以 看 出 ， 受 到 噪声 影响 并 且 产 重 畸 变 的 数字 “7 ， 通 
过 网 络 仿真 后 的 输出 己 非 音 接 近 网 络 人 存储 的 对 应 于 “7 ”的 样本 异 陈 。 





(a) 测试 样本 (b) 仿真 结果 
图 6-1$ 测试 样本 和 仿真 结果 的 二 值 化 图 像 
源 代 码 中 的 figt(b 是 绘制 测试 样本 二 值 化 图 像 的 目 定义 函数 ， 其 名 代 人 码 如 下 。 


% 绘 制 测试 样本 二 值 化 和 网 像 的 目 定 义 图 数 figt(b 
function gt(b 
hold on 
aXlS Square 
for 1=1 :8 
for 1=]1 :7 
it((-]1) 尖 7+D) 一 一 O 
fill(G ai+l i+l 吉 ,[9-19-],10-],10-]],K ) 
else 
fil(I ai+li+l 二 ,9-1.9-1,10-],10-] jw ) 
end 
end 
chnd 
hold of 娃 


6.5 回归 BP 网 络 及 MATLAB 应 用 


误差 反射 传播 BP 算法 是 前 向 网 络 学 习 算 法 中 应 用 最 为 广泛 的 算法 ， 因 此 ， : 绎 研究 着 
上 将 试 将 BP 算法 中 采用 的 梯度 下 降 法 推广 到 回归 网 络 中 , 由 此 产生 了 回归 BP(4Recurrent BP ) 
网络 。 


雹 ae 守 
呈 “LS ”ORG REC RCI 了 RH -hh 
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6.5.1 ”回归 BP 网 络 概述 


回归 BP 网 络 同时 具有 反馈 和 六 馈 机 制 ， 这 就 意味 着 在 网 络 的 一 个 训练 局 期中， 网 络 的 输 
出 同时 及 饿 给 网 络 的 输入 神经 元 作为 网 络 的 外 部 输入 。 如 图 6-16 所 示 为 一 个 典型 的 三 层 回归 
BP 网 络 。 


阅 值 
阅 值 \\ 儿 丰 一 神经 元 
第 吉 NS 二 7 一 一 连接 权 





和 
入 层 中 加 层 得 出 层 
名 6-16 回归 BP 网 络 


在 图 6-16 中 ， 输 入 层 有 一 个 半 维 的 输入 向 量 和 一 个 阅 值 节点 ， 该 节点 的 值 是 固定 的 ， 这 个 
值 的 存在 保证 了 网 络 的 收敛 特性 。 中 间 层 有 闫 个 神经 元 和 -- 个 阔 值 节点 。 相 邻 两 层 的 所 有 神经 
元 采用 全 连接 的 方式 相连 。 输 入 层 的 神经 元 输入 /输出 关系 可 以 表示 为 


1 人 
OO =)= XI) 
其 中 ， 屎 表示 输入 层 ， 输 入 神经 元 和 隐 含 神经 元 之 间 实 现 加 权 连 接 。 即 如 果 信 号 从 第 个 


神经 元 传递 到 ， 个 神经 元 ， 则 信号 需要 乘 上 了 两 个 神经 元 之 间 的 连接 权 值 Wi 。 令 C 坟 表 示 第 工人 个 神 
经 元 的 输出 ， 第 个 神经 元 的 输入 则 为 CQw; 。 对 第 7 个 神经 元 的 输入 进行 求 和 ， 可 得 


上 共 中 ， 忆 为 赣 值 项 ， 豆 表示 中 间 层 。 这 种 加 法 操作 是 通过 中 间 层 的 处 理 器 实现 的 ， 实 现 加 法 
的 过 程 就 是 激发 神经 元 的 过 程 。 由 于 神经 元 的 权 什 和 输入 可 以 取 正 值 ， 也 可 以 取 负 值 ， 因 此 对 
但 经 元 的 激发 也 可 能 产生 正 仁 、 负 值 和 老 人 中 的 任意 数据 。 中 间 层 的 激发 国 数 为 


O) 700- >ow ce 了 二 1.2……，,711 
一 | 
对 于 箱 山 层 多 ， 它 的 第 上 个 神经 元 接收 了 中 间 层 第 了 个 神经 元 的 输出 信号 ， 经 过 加 权 后 ， 
作为 县 己 的 输入 信号 ， 可 以 得 到 同上 面 类 似 的 结论 
大 = 忆 O7 WAx 各 


/二 |] 
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O. VOD= 袜 orw: | K =]2,……，,8g 
=1 


回归 BP 网 络 的 传递 函数 见 下 式 ， 这 是 一 种 非常 典型 的 函数 ， 具 有 很 多 优点 。 它 是 连续 可 
导 的 ， 输 出 也 是 连续 的 并 且 位 于 0 一 1 中 。 如 图 6-17 所 示 ， DB 为 函数 的 斜率 。 


] 


OO = Fnrehf)= 一 -一 - 
6 二 7 er 1+exp( 一 CxPeft) 


慷 >0 


-1 
-1 -0.5 0 0.5 1 


图 6-17 回归 BP 网 络 传递 函数 曲线 (万 =1) 


6.5.2 ”回归 BP 网 络 在 房价 的 应 用 


房价 及 其 变化 趋势 是 很 多 人 天 注 的 焦点 ， 也 是 制定 合理 的 购房 策略 的 基础 。 现 以 茶 城 市 的 
房价 预测 为 例 ， 展 开 基 于 回归 BP 网 络 的 预测 研究 。 

一 般 来 说 ， 房 价 受 宏观 调控 政策 、 房 产 和 人 口 等 多 方面 的 影响 ， 可 以 将 房价 写 为 如 下 的 函 
数 模 型 。 


REP = (CQ 们 = Fa 


其 中 ， 尺 允 P 表示 房价 =12…… 于 ,=12… 。@ 表示 在 ! 时 间 段 中 对 房子 的 总 体 需 求 ， 
CO 表示 在 ! 时 间 段 中 房子 的 总 体 供 应 。Y 表示 宏观 经 济 变量 ， 如 GDP 等 。y 表示 与 买方 相关 的 变 
量 ， 如 家 庭 平 均 收 入 等 。z 表示 与 人 口 统计 相关 的 伙 量 ， 如 人 口 比 例 、 新 婚 人 口 数 目 等 。Y 表 丰 与 
顽 方 相关 的 变量 ， 如 建 房 届 用 和 地 诡 价 格 等 。X 、V 、 >》 了 和 z 是 完全 无 天 的 变量 。 

由 于 房价 受 多 方面 因素 的 影响 ， 在 建立 一 个 房价 预测 模型 时 ， 和 需要 综合 考虑 多 种 因素 。 而 
BP 算法 在 处 理 多 输入 的 非 线 性 系统 的 过 程 中 表现 出 了 相当 强 的 能 力 ， 所 以 这 里 采用 BP 算法 。 
之 所 以 采用 递归 BP 网 络 ， 是 因为 房价 是 一 种 时 间 序 列 信号 ， 目 前 的 数据 可 能 对 以 后 的 数据 产 : 
生 重 要 的 影响 。 

由 于 MATLAB 神经 网 络 工 具 箱 中 没有 为 递归 BP 网 络 提供 专门 的 工具 , 所 以 这 里 只 给 出 基 
于 递归 BP 网 络 进行 房价 预测 的 有 关 思 想 ， 有 具体 算法 读者 可 参考 相关 资料 ， 并 利用 MAILAB 的 
数 尝 计算 功能 实现 。 


6.6 BSB 模型 及 其 应 用 


盒 中 脑 (Brain-State-in-a-Box，BSB ) 神经 网 络 模型 首先 是 由 Anderson 等 人 于 1977 年 捉 出 
的 ，Golden 等 人 对 该 模型 进行 了 深入 的 研究 。BSB 模型 是 一 种 节点 之 间 存 在 横向 连接 和 节点 白 
反馈 的 单 层 网 络 ， 可 用 做 自 联 想 最 邻近 分 类 器 ， 并 可 存储 任何 模拟 问 量 模 陈 。 


ee 


八 - 一 = 
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6.6.1  _BSB 神经 网 络 介 绍 


BSB 网 络 模型 可 用 如 下 方程 描述 。 
(KE+TJD)=8( 下 (KE)+CQWXK(E)) 天 =0,12.… 


初始 条 件 为 下 (0)= 下 oo， 其 中 下 ( 人 = (人 (人 (px (KJ))e 尺 表示 天 时 刻 的 状态 向 量 ， 参 
数 w 是 - - 止 值 ， 用 于 控制 层 内 反馈 的 大 小 。 厂 E Raxo 为 对 称 的 权 抵 阵 ， 传递 函数 8 的 第 ;个 坐 
标 通 名 为 以 下 形 陈 

1  >>1l 
&8， ( 生 ) 一 3 和 
一 > 冯 一 ] 


随 着 时 间 的 推移 ， 每 个 状态 蕊 逐渐 趋 近 于 士 L 。 实 际 上 ， 当 系统 达到 其 个 平衡 态 后 ， 状 态 
(进入 由 (+ 十 …, 二 ]) 构成 的 盒子 某 一 角 。 


6.6.2 BSB 的 应 用 


伸 经 网 络 工 具 箱 中 没有 为 BSB 网 络 提 供 专门 的 函数 工具 ,因此 ,无 法 利用 神经 网 络 工具 箱 
中 的 数 创建 、 训 练 并 应 用 网 络 。 但 是 ，Hugh Pasika 于 1997 年 基于 MATLAB 平台 开发 了 BSB 
网 络 的 实现 函数 。 代 人 码 如 下 。 


function C=BSB(X,betamult) 

Ifunction C=BSB(X,betal) 
力 This m-file duplicates the Brain State in a Box Experiment，- 
色 和 -Inputvector 

beta -feedpback factor 
%(L -number of lterations requried for 0 
加 Hugh Paslka 1997 

hold on 

休 ag-Ui; 

x=x(): 

c=-<; YLls ageneral purpose counter 

W=[.035 -.005:;-.005 .035]， 

0 Set MXeS 

Set(gca, Lim ,[-1 菇 ); 

set(gca, 入 LIm ,|[-1 |]); 

mplot first polnt 

plot(x(G),xXC2), ob ); 

(OUDg=X : 

% plot center ]ines 

plot([0,0],[1-1],+9; 

plot([1,-1],[0.0],+); 

M label plot 

set(gca, YITick ,[-1 1]); 

Set(gca, XJick ,[-1 1]); 
While flag<1 
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y 一 X 二 betaf YY <“X; 
X 二 (y()<-1)( -HCVYG)>1)+CYC)>-] 区 y()<1).*V; 
LE 二 着、 
C 一 C 十 ] ; 
tuU(c-1,:)==U(c-2.)， 
ftag=10; 
C 一 C-3; 
end 

end 

U=U(2:c+1T，:): 

ODg 

plot([Og(1,D u(LD],[Og(12) ul12)],-b) 

plotGu( ,1 ul,2),ob ) 

plot(Cu(:, Ta( 2) -b”) 

drawnow 

fprintt(1, ttook 9%g lteration for a stable point to be reached.nn'c): 

Set(gca,Box ,on ) 

hold o 革 

读 背 可 以 将 二 述 代 但 保存 为 一 个 名 为 BSB.m 的 文件 ， 存 储 到 MATLAB 的 根 上 月 录 下 。 然 后 
人 在 MATLAB 主 窒 口 中 将 Current Directory 当前 目录 修改 为 MATLAB 的 根 日 标 ， 在 命令 行 窗 口 
中 输入 “help bsb” 后 授 回 车 键 ， 出 现 如 下 的 帮助 信息 。 

help bsb 

function C=BwSB(Xx,beta) 
Tbls m-tje duplcates the Brain State in a Box Experiment. 
入 -Input vector 
beta -teedback factor 
L -number of iteratuons fequried for convergence 
Hugh Paslka 1997 

谨 助 信息 解释 函 数 各 个 参数 的 意义 ， 其 中 

X: 得 入 问 量 : 

beta: 友 鱼 因子 ; 

下 面 给 定 输入 向 量 和 反 局 因 了 于， 演示 bsb 男 数 的 功能 。 令 x=[0.$;-0.6]，beta=0.$，c=100，ec 
用 于 限制 迭代 次 数 。 迁 代 终止 的 充分 条 件 是 网 络 已 经 收敛 或 者 网 络 的 和 迭代 次 数 达 到 最 大 值 c。 
住 命 令 行 窗 口中 得 入 以 下 代码 后 按 回 车 键 。 

OUg = 

U.2U00 -0.00U00 

lt took 133 lteratlon ftor a Stable polint to be reached. 

X=|[0.3;-U.O|: 

beta=0.5: 

c=100; 

BeSB(x,betauc) 

ans= 

239 


2 
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其 中 Og 表示 网 络 的 初始 输入 值 为 【0.5,-0.6]j]。ans=25 表示 网 络 经 过 25 次 友 代 后 ， 初 
输 值 束 达 到 了 箱子 的 一 角 [1-1]， 因 为 初始 值 与 它 的 距离 最 小 。 输 入 向 量 的 收敛 轨迹 如 图 6-18 
所 示 。 





-1 


图 6-18 输入 回 量 的 收敛 轨迹 
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第 7 壮 图 形 用 户 接口 








前 面 几 章 介绍 了 MATLAB 神经 网 络 工具 箱 的 各 种 函数 ， 这 些 函数 是 神经 网 络 仿真 程序 设 
计 的 基础 ， 可 以 给 用 户 以 充分 的 开发 空间 ， 按 照 自己 构想 设计 各 种 神经 网 络 。 但 对 于 程序 设计 
或 神经 网 络 工具 箱 函 数 不 是 很 部 悉 的 用 户 来 说 ， 要 快捷 、 方 便 、 正 确 地 设计 一 个 神经 网 络 是 非 


党 困难 的 。 
MATLAB 的 神经 网 络 工 具 箱 Neural Network Toolbox Version 4.x 提供 了 图 形 用 户 界面 
(Graph User Interface，GUI)， 从 而 使 用 户 在 图 形 界 面 上 上， 通过 与 计算 机 的 交互 操作 设计 和 仿真 ， 


但 经 网 络 ， 便 得 神经 网 络 的 庆 计 和 仿真 变 得 简单 易学 。 


7.1 图 形 用 户 界 面 介 绍 


任 MALTLAB 命令 窗 LCcommand window ) 中 输入 nntool 即 可 打开 “Network/Data Manager” 
(网 络 / 阁 扩 官 理 郁 ) 窗口 ， 如 图 7-1 所 泵 。 


多 7-1 “NetworkData Manager” 窗 口 


:Network/Data Manager” 黎 口 有 7 个 显示 区 戈 和 2 个 按钮 区 : 
C1L) Inputs 区 域 : 显示 用 户 指定 的 输入 癌 量 变量 名 。 


(2) Targets [区域 : 显示 用 户 拓 定 的 日 标 辣 量变 量 名 。 5 
(3) Input Delay States 区 域 : En 本 的 补 入 生 迟 参数 变量 名 。 > 
05) Outputs 区 域 : 显示 网 络 的 失 四 机 1 量变 了 3 
(6) Errors [又 二 : 二 络 的 训 疆 ': 误 芜 变 量 














(7) Layer Delay States 区 越 : ee F 指定 的 网 络 层 延 迟 参数 灾 量 名 。 
(8) Netwofrks and Data 按 饮 区 。 


@ “Hep” 按 钮 : 音 击 该 按钮 ， 阐 出 “Network/Data Manasger Help” 窗 口 ， 为 用 户 使 用 ， 
Network/Data Help 捉 供 训 助 。 
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“New Data.. ”按钮 : 意 击 该 按钮 ， 弹 出 “Create New Data” 窗口， 在 该 窗口 可 以 定 
义 各 种 数据 类 型 的 变量 名 和 数据 值 (Value )。 

“New Network... ”按钮 : 音 击 该 按钮 ， 弹 出 “Create New Network” 和 窗口 ， 在 该 窗口 
可 以 定义 神经 网 络 名 称 、 神 经 网 络 类 型 及 其 网 络 对 象 和 子 对 象 属性 参数 等 。 

“Import... ”按钮 : 站 击 访 按 钮 ， 弹 出 “Import or Load Network/Data Manager” 窗 口 ， 
可 以 通过 该 窗口 从 命令 窗口 或 磁 桥 文件 导入 神经 网 络 或 数据 。 

“Export... ”按钮 : 单 击 该 按钮 ， 弹 出 “Export or Save from Network/Data Manager” 窗 
口 ， 可 以 将 “Network/Data Manager” 章 口 的 变量 导出 到 命令 窗口 或 存 入 磁盘 文件 中 。 
“View” 按 钮 : 先 选 中 显示 区 域 的 变量 名 或 网 络 名 ， 单 击 “View” 按 钮 ， 则 弹出 一 
新 的 窗口 ， 在 该 窗口 中 显示 选中 的 变量 或 网 络 的 具体 和 内容。 

“Delete” 按 钮 : 先 选 中 显示 区 域 的 变量 名 或 网 络 名 ， 单 击 “Delete” 按 钮 ， 则 删除 选 
中 的 变量 或 网 络 。 


(9) Networks only 按钮 区 : 先 选中 显示 区 域 的 网 络 名 ， 单 击 该 区 域 的 任意 一 个 按钮 ， 则 旨 


出 一 个 痢 的 窗口 《 Network: 网 络 名 ) 在 二 窗口 中 , 可 以 得 看 网 络 的 结构 示意 图 和 权 仁 / 赣 值 ， 
设 凌 网 络 的 初始 化 值 、 训 练 参 数 、 目 适应 调整 参数 和 仿 黄 参数， 并 可 对 定义 的 神经 网 络 进行 初 


、 训 练 、 目 运 应 调整 、 仿 真 等 。 


图 形 用 户 应 用 示例 


仍 以 例 4-9 的 模式 分 类 问题 为 例 ， 将 竺 分 类 模式 重男 于 图 7-2 中 。 





图 7-2” 待 分 类 模式 
据 例 4-9 的 分 析 ， 网 络 结构 重男 于 图 7-3 中 。 第 1 层 有 5$ 个 神经 元 ， 第 2 层 有 1 个 神经 元 。 








1 
几 11 


NS 一 oo 辆 在 
| 


忆 ， Wi 3 广 闻 


氏 7-3 两 层 BP 网 络 








训 练 样本 集 为 


| 0 08 08 0.2] 
上 | 1 1 0 本 和 


用 图 形 用 户 界 面 设 计 上 述 昼 经 网 络 的 具体 方法 如 下 。 


(1) 在 MATLAB 命令 窗口 中 输入 nntool， 打 开 “Network/Data Manager” 窗 口 。 


本 
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(2) 创建 神经 网 络 : 单 击 “New Network...” 按 钮 ， 弹 出 “Create New Network ”窗口 ， 如 
多 7-4 所 未 。 
中 输入 网 络 名 (Network Name):，Demonet。 
2 选择 网 络 类 型 (Network Type): Feed-forward backprop。 
G@) 确定 输入 回 量 的 取 值 范围 〈Input ranges): [-4 1;0 2]。 
选择 训练 函数 〈Traning function):， TRAINLM 
@) 选择 自 适 应 调整 学 习 函 数 (Adaption learmning function):， LEARNGDM。 
(6) 选择 误差 性 能 国 数 (Performance function ): MSE。 
(C) 确定 网 络 层 数 (Number of layers ):，， 2。 
G) 确定 各 网 络 层 的 属性 (Properties for )。 
layerl1:， 神经 元 数 (Number of neurons) 为 9; 
传输 国 数 〈Transfer Function ) 为 站 OGSIG 。 
layer2:， 神经 元 数 (Number of neurons) 为 1 
传输 函数 《Transfer Function) 为 LOGSIG 。 
9 单 击 “View” 按 钮 可 以 查看 以 上 定义 的 网 络 结构 ， 如 图 7-$ 所 未 。 
单 击 “Create” 按 钮 ， 关 闭 “Create New Network ”窗口 ， 回 到 “Network/Data Marniager” 
窗 L， 可 以 看 到 Networks 区 域 显示 出 刚 建 立 的 网 络 名 Demonet， 选 中 该 网 络 名 ， 单 击 该 窗口 的 
“View” 按 钮 也 可 以 查看 到 如 图 7-$ 所 示 的 网 络 结构 。 


图 7-4 “Create New Network” 窗 口 图 7-5 查看 网 络 结构 


(3) 训练 网 络 。 

四 确定 训练 样本 的 输入 向 量 。 在 “Network/Data Manager” 窗 口 单 击 “New Data..….” 按 钥 ， 
弹出 “Create New Data” 窗 口 ,， 选择 数据 类 型 为 Inputs,， 输 入 疝 量 名 (Name) 为 p， 其 值 (Value ) 
为 [1 -1 -2 -4:2 1 10]， 如 图 7-6 所 示 。 然 后 单 击 “Create” 按 钮 ， 关 闭 “Create New Data” 窗 口 ， 
回 到 “NetworkData Manager” 窗 口 。 可 以 看 到 在 Inputs 区 域 显 示 出 输入 回 量 名 p， 选 中 该 葵 入 
向 量 名 ， 单 击 该 窗口 的 “View” 按 钮 ， 弹 出 数据 〈Data) 窗口 ， 在 该 窗口 可 以 但 看 到 该 输入 问 
量 的 什 ， 并 可 以 修改 数据 全。 

四 确定 训练 样本 的 目标 向 量 。 按 照 与 输入 向 量 同样 的 方法 可 以 确定 目标 内 量 ， 只 是 选择 
数据 类型 为 Targets， 输 入 问 量 名 为 t， 数 据 值 为 [0.2 0.8 0.8 0.2]。 

@@ 训练 网 络 。 在 “Network/Data Manager” 窗 口 选 中 网 络 名 Demonet， 单 击 “Train...” 按 
乌 ， 则 弹出 “Network:， Demonet” 和 窗口 ， 如 几 7-7 所 未 。 
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二 


ew Data” 和 窗口 岗 7-7 “Network:，Demonet” 窗口 


可 以 看 出 ， 塘 实 口 为 一 个 多 页 面 对 话 框 ， 在 Train 页 面 有 3 个 子 页 面 。 

@ Training Info: 在 直子 页 面 将 训练 数据 (Training Data) 的 输入 向 量 (Inputs) 选择 为 p， 
日 标 问 量 〈Targets) 选择 为 1 训练 结果 (Training Results》 的 输出 变量 《Outputs) 和 
误 莽 性 能 变量 《Errors) 采用 系统 上 自动 生成 的 Demonet_outputs 和 Demonet_errors， 当 
然 它们 也 可 以 由 用 户 重 新 定义 。 

@ TIraining Parameters: 在 坛 和子 页 面 可 以 设置 训练 的 各 种 参数 ， 这 要 根据 具体 训练 和 学 司 
国 数 进行 硼 定 ， 相 关内 容 参 看 各 神经 网 络 模型 的 训练 和 学 习 算 法 。 在 此 采用 其 默认 值 


儿 7-6 “Create 


即 可 。 
e@ Optional Info， 该 子 页 面 用 以 确定 在 训练 时 是 否 采 用 确认 样本 和 测试 样本 ， 本 例 均 不 
采用 。 


以 上 过 程 完 成 后 ， 单 击 该 页 面 的 “Train Network” 按 钮 ， 开 始 训练 ， 其 训练 过 程 如 图 7-8 所 和 父 。 

串 练 完成 后 ， 在 Network/Data Manager 窗口 可 以 看 到 ， 在 Outputs 区 域 显 示 出 输出 变量 名 
Demonet_outputs， 在 Errors 区 域 吕 示 出 误差 性 能 变量 名 Demonet_errors。 选 中 变量 名 ， 单 击 该 
质 口 的 “View ”按钮 ， 则 弹出 数据 〈Data) 窗口 ， 在 该 窗口 可 以 查看 到 该 选中 变量 的 具体 数据 。 

(4) 网 络 仿真 。 

在 “Network/Data Manager” 窗 口 选 中 网 络 名 Demonet， 单 击 “Simulate...” 按 蚀 ， 阐 出 
“Network:， Demonet” 窗 口 ， 显 示 Simulate 页 面 ， 如 图 7-9 所 示 。 
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色 7-8 训练 保荐 性 能 遇 线 名 7-9 “Network:Demonet” 答 口 的 Simutate 页 j 下 


将 仿真 数据 选 拼 为 p， 仿 真 结果 选择 为 a， 单 击 “Simulate 
Network” 按 钮 ， 则 在 “Network/ Data Manager” 窗 口 的 Outputs 区 
工 示 未 出 竹 出 变量 名 a， 选 中 诅 变 量 名 ， 单 击 访 窗口 的 View 按 钊 ， 
-一 弹出 数据 〈“ Data: a”) 窗口 ， 在 该 窗口 可 以 但 看 钊 仿真 结果 的 有 其 
区 7_-10 仿真 结果 数据 体 数 据 ， 如 图 7-10 所 示 。 
可 以 看 出 ,网 络 很 好 地 完成 了 图 7-2 所 示 的 两 类 模式 分 类 问题 。 
当然 ， 可 以 用 训 练 样 本 以 外 的 数据 进行 仿真 ， 此 时 ， 需 要 先 在 “Network/Data Manager” 窗 口 建 
记 仿 真 的 输入 问 量 ， 建 立方 法 与 建立 训练 样本 的 输入 疝 量 相同 ， 然 后 在 “Network: Demonet” 
日 的 Simulate 页 面 选 择 该 仿真 的 输入 问 量 名 ， 进 行 仿真 。 


国 全 人 


家 


二 






0 
全 
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7.3 数据 操作 


数据 操作 一 方面 捐 的 是 将 MATLAB 工作 空间 中 的 数据 导入 到 GUI 中 ,， 也 可 以 将 GUI 中 的 
数据 变量 导出 到 MATLAB 工作 空间 中 ;， 另 一 方面 是 指数 据 的 存储 、 删 除 、 恢 复 和 重新 调用 等 。 


7.3.1 数据 从 工作 笃 间 导 和 到 GUIl 


可 以 通过 如 下 的 方式 将 工作 衬 国 中 的 数据 变量 导入 到 GUI 中 。 

和 首先 ， 在 MAILAB 命令 行 中 输入 如 下 代码 。 

了 =-1:0.13:1; 

【=SIn(pP1YP); 

这 样 一 来 ， 承 得 到 了 数据 回 量 已 和 了 了， 它们 都 
由 41 个 元 素 组 成 。 回 到 “NetworlyData Manager” 
窗口 ， 单 击 其 中 的 “Import...” 按 钮 ， 得 到 如 图 7-11 
所 示 的 对 话 框 。 

选中 此 对 话 框 左 侧 的 Source 域 中 的 “Import 
from MATLAB workspace” 单 选 钮 ， 然 后 在 其 中 的 
“Select a Variable” 文 本 框 中 选中 P， 和 在 对 话 框 右 侧 
的 “Name ”文本 框 中 输入 P， 表 示 在 GUI 中 该 数据 | 
向 量 的 名 称 亦 为 P， 然 后 选中 “Inputs” 单 选 钮 ， 表 
下 该 数据 向 量 是 网 络 的 输入 向 量 。 最 后 单 击 右 下 角 的 “Import” 按 钮 ， 就 可 以 将 刁 作为 网 络 的 
输入 回 基 导入 到 GUI 中 。 按 照 同 样 的 方式 ， 也 可 以 将 了 作为 网 络 的 目标 辐 量 导入 到 GUI 中 。 
此 时 ， 新 导入 的 天 和 了 分 别 出 现在 “Network/Data Manager” 窗 口中 的 “Inputs” 和 “Targets” 
文本 框 中 ， 分 别 表 示 神 经 网 络 的 输入 同 量 和 目标 丫 量 。 

此 外 ， 该 对 话 框 Source 域 中 还 提供 了 另外 一 个 选项 Load from disk file， 这 表明 还 可 以 从 夏 
芭 中 导入 数据 。 


7.3.2 ”数据 从 GUI 导出 到 工作 空间 


通过 GUI 得 到 的 网 络 仿真 纤 示 、 圳 练 结 未 和 二 ww 
SI ER wetweakxp Ti 
在 命令 行 工 作 空 间 中 可 以 利用 这 些 数 据 进 行 一 些 其 
人 操作。 

以 仿真 结果 的 导出 为 例 介 绍 数 撕 的 导出 过 柱 。 
仿真 得 到 数据 回 量 g& 后 ， 回 到 “Network/Data 
Manasger” 窗 口 ， 在 右 侧 的 “Outputs” 框 中 出 现 了 a 
变量 ， 如 图 7-12 所 示 。 

选中 a 变量 ， 然 后 单 击 “View” 按 钮 ， 可 以 看 
到 该 变量 的 元 素数 据 ， 如 图 7-13 所 示 。 

单 击 “Expert... ”按钮 ， 出 现 数据 导出 对 话 框 ， 


图 7-12 “Network/Data Manager” 和 窗口 


如 图 7-14 所 示 。 这 里 列 出 了 GUI 当前 所 有 的 数据 变量 。 这 里 选中 变量 a， 并 单 击 “Export” 控 


MATLAB 神经 网 络 仿真 与 应 用 


0 杰 量 a 职 寻 出 到 命令 行 窗 口中 了 .为 了 检验 以 上 过 程 是 否 成 功 , 在 MATLAB 
节令 行 中 得 入 who 来 检查 此 时 工作 空间 中 的 所 有 变量 ， 可 得 到 以 下 结果 。 


YOUT variables are: 
PT a 


这 表明 变量 a 已 经 成 功 地 导入 到 命令 行 空 间 中 了 。 
可 以 按照 同样 的 方 却 将 议 计 好 的 网 络 导 出 到 命令 行 空间 中 ， 导 出 成 功 后 ， 在 命令 行 窗口 中 
输入 simubp， 可 得 到 网 络 的 基本 信息 ， 如 下 。 


Slimubp = 

Neural Network object: 

archltecture; 

numjnputs:1 
numLayers:2 
blasConnect:[1;] 
InputConnect:[1;0] 
layerLonnect:[U UL gj 
outputConnect:[O 二 ] 
targetLConnect:[O 1 
numtutputs:1 (read-only) 
numargets:] (read-onjy) 
nunlnputDelays:U (read-onjy ) 
numLayersDelays:U (read-onjy) 


er 


网 7-13 变量 显示 疼 7-14 数据 导出 对 话 杠 
7.3.3 数据 的 存储 和 读 取 


通过 GUI 定义 的 变量 、 数 据 和 网 络 可 以 仓储 到 便 峰 中， 需要 的 时 候 可 以 册 加 载 ， 这 样 承 可 
以 使 得 设计 好 的 网 络 能 够 重复 使 用 ， 而 不 用 每 次 都 要 重新 设计 。 下 面 以 神经 网 络 的 存储 和 读 取 
为 倒 ， 介 绍 数 据 的 存储 和 读 取 过 程 。 

回 到 图 7-14 中 , 选中 a 项 将 其 激活 ， 然 后 单 击 在 下 角 的 “Save” 近 钮 ， 出 现 “ SavetoaMAL 
file” 对 话 框 ， 如 图 7-1S 所 示 。 

单 击 “保存 ”按钮 ， 将 网 络 以 *.MAT 文件 的 形式 存储 在 便 盘 中 ， 这 里 将 文件 名 议定 为 ab。 

如 果 不 小 心 将 网 络 错误 删除 或 者 需要 重新 启动 MATLAB ， 我 们 还 可 以 利用 寻 出 功能 将 
网 络 文件 导出 到 GUI 中 。 下 面 介 绍 在 重新 启动 MATLAB 的 情况 下 ， 如 何 将 网 络 文件 导出 到 
GUI 中 。 
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重新 月 动 MATLAB 后 ， 在 命令 行 窗 上 口 输入 nntool 命令 ， 局 动 “Network/Data Manager” 窗 
中 ， 单 击 “lmport. ”按钮 ， 出 现 如 图 7-16 所 示 的 数据 导入 对 话 杠 。 


名 7-1$ “SavetoaMATHfile” 对 话 框 图 7-16 数据 导入 对 话 框 
在 Source 域 中 选中 “Load from disk file ” www WERE Re 
单 选 刍 ， 然 后 单 击 “Browse” 按 钮 确定 网 络 区 国 


文件 的 来 源 , 如 图 7-17 所 示 。 选 中 “ab.MAT” 
交 件 ， 曲 击 “ 打 开 ” 按 钳 或 者 双击 坊 文 件 ， 
将 文 作 导 入 到 GUI 中 。 
单 击 “打开 ”按钮 后 ， 出 现 如 图 7-18 所 
做 的 窗 门 。 在 “Select a _ Variable” 杠 中 选中 
“ab”， 可 以 在 “Name” 文 本 框 中 输入 网 络 在 
GUI 中 的 名 称 ， 这 里 取 刀 来 的 名 称 ， 也 怠 志 
汰 的 名 称 “a”。MATLAB 有 识别 数据 类 型 图 7-17 网 络 文 作 选 插 
的 能 力 ， 这 申 它 已 经 识别 出 导入 的 数据 类 型 为 神经 网 络 , “Import As” 下 的 音 选项 中 除了 
“Network ”是 无 效 的 ， 其 余 的 部 是 有 效 鸭 ， 为 可 选 。 
最 后 单 击 位 于 窗口 右 下 角 的 “Load ”按钮 ， 我 们 友 现 网 络 a 已 经 在 GUI 中 了 ， 如 网 7-19 
太 和 仆 。 


几 7-18 网 络 文件 导入 网 7-19 导入 网 络 a 后 的 “Network/Data Manager” 和 窗口 


7.3.4 数据 的 删 辽 
在 通过 GUI 进行 神经 网 络 的 设计 分 析 时 ， 有 时 候 可 能 会 出 现 误 操 作 。 例 如 ， 在 议 计 网 络 和 输 
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入 回 量 的 时 候 出 现 了 馈 误 ， 但 直到 后 来 才 友 现 ， 这 时 候 束 需要 删除 错误 的 输入 疝 量 ， 从 而 设计 
新 的 输入 回 量 。 

数据 删除 最 简单 的 方法 是 强行 关闭 MATLAB 窗口 ， 或 者 到 任务 管理 器 中 结束 
MAITLAB.EXE 进程 。 这 种 方法 的 优点 是 速度 非常 快 ， 但 必须 要 提醒 读者 的 是 ， 利 用 这 种 方法 
进行 数据 删除 以 前 ， 必 须 将 所 有 认为 有 用 的 数据 变量 保存 起 来 ， 然 后 在 重新 启动 MATLAB 后 ， 
将 它们 一 导入 到 痢 的 GUI 中 ， 这 样 才 可 以 保证 数据 不 丢失 。 

万 外 -种 方法 是 在 “NetworkyData Manager” 窗 口中 选中 要 删除 的 数据 ， 如 图 7-19 所 示 ， 
选中 了 网 络 a， 然 后 单 击 “Delete” 按 钮 ， 就 可 以 将 a 删除 了 。 


| 


删除 GUI 工作 空间 中 的 数据 并 不 影响 已 经 导出 到 MATLAB 命令 行 空间 中 的 数据 ， 即使 关 ， 
司 了 “NetworkData Manager” 窗口 ， 命 令 行 空 间 中 的 数据 也 依然 存在 。 


汪 





汕 8 普 Simulink 





Simulink 荆 上 有 具 箱包 侣 大 量 的 动态 仿真 库 ， 能 人 够 对 实际 系统 进行 动态 仿真 ， 而 且 可 以 非常 方 
便 地 实现 Simulink 与 MATLAB 之 间 的 交互 操作 ， 用 MATLAB 命令 进行 Simulink 模型 的 仿真 、 
数据 交换 等 ， 同 时 可 以 纲 号 M 函数 或 者 $ 示 数 进行 复杂 系统 的 Simulink 仿真 。 在 此 主要 介绍 
Simulink 建 模 与 仿真 的 基本 知识 以 及 应 用 实例 分 析 。 


8.1 _ Simulink 概述 





入 汪 2 人 


Simulink 龙 一 个 用 来 进行 动态 系统 建 模 、 人 仿真 和 分 析 的 软件 包 。Simujlink 提供 了 大 量 的 仿 
旧 元 件 库 ， 品 以 非 冰 方便 地 拾 建 、 分 析 和 仿真 从 种 动态 系统 ， 包 后 连续 系统 、 离 和 敢 系统 和 廊 合 
系统 。Simulink 交 班 式 的 开发 界面 方便 用 户 直 接 拖 放 、 连 接 元 件 ， 设 置 模 块 属性 和 仿真 参数 ， 
项 现 动态 系统 的 建 模 仿 和 其。 

回 睹 ，Simulink 强大 的 扩展 功能 ， 包 括 M 文件 编程 技术 、$S 图 数 编程 级 数 、 子 系统 创建 封 
装 技 术 等 方便 用 户 并 发 自己 的 仿真 工具 箱 ; Simulink 中 集成 了 大 量 的 专业 模 氛 库 ， 包 括 信 号 处 
理 DSP 模块 库 、 电 力 系 统 仿 真 模 氛 库 、 通 信 系 统 模 据 库 等 ,广泛 应 用 于 神经 各 领域 中 。 综 合 起 
来 ，Simulink 工具 箱 有 具备 以 下 强大 的 功能 。 

1 ) 优越 的 交互 式 界 面 ， 操 作 税 单 

Simulink 模块 库 浏 览 窗 口 提供 了 大 量 的 仿真 元 件 库 以 及 其 他 专业 模 黄 库 ， 用 忆 只 和 局 动 


就 可 以 建立 仿真 模型 ， 同 时 子 系统 概念 可 以 帮助 用 户 对 独立 的 仿真 功能 模块 进行 封装 ， 使 系统 
模型 更 加 简洁 、 清 晰 。 这 种 简单 的 元 件 拖 放 、 连 接 、 仿 真 的 过 程 ， 使 Simulink 建 模 变 得 非常 容 
急于 观 。 

2 ) 丰富 的 模块 库 ， 应 用 领域 厂 泛 

Simulink 仿真 环境 下 提供 了 大 量 的 模块 库 ， 包 括 连续 模块 库 、 离 散 模块 库 、 非 线性 模块 库 、 
舍 分 与 系统 模块 库 、 数 学 模块 库 、 输 入 /输出 模块 库 及 子 系 统 模块 库 等 。 通 过 使 用 这 些 模块 库 ， 
能 够 非常 轻松 地 描述 实际 物理 模型 。 

3 ) 模块 库 儿 于 扩展 、 移 植 性 好 

Simulink 仿真 平台 中 集成 了 大 量 的 模块 库 ， 能 够 满足 一 般 用 户 的 仿真 需求 。 同 时 
Simulink 子 系统 的 概念 可 以 方便 地 实现 模块 库 扩 展 。 在 一 些 大 型 系统 仿真 中 ， 仿 真 模型 元 
件 众多 ， 此 时 需要 建立 各 种 独立 功能 模块 子 系统 ， 并 进行 封装 ， 使 之 成 为 一 个 独立 的 功能 
和 子 模 块 ,用 户 可 以 将 自己 建立 的 子 系统 组 成 模块 库 ， 并 添加 到 Simulink 仿真 平台 的 库 浏 览 
窗口 中 ， 方 便 使 用 。 人 

对 于 一 些 复杂 系统 ，Simulink 仿真 环境 下 可 以 使 用 S 函数 来 实现 ， 它 可 以 使 用 MAILAB、， 
C、C++、Fortran 和 Ada 等 语言 来 编写 ， 实 现 连续 系统 、 离 散 系统 和 混合 系统 等 ， 这 些 不 同 语 ， 
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4 ) 仿真 手段 灵活 ， 接 口 丰 富 

在 Simulink 仿真 环境 下 ， 人 仿真 手 段 灵 活 ， 一 方面 可 以 通过 区 互 式 界面 荣 单 按钮 的 使 用 进行 
系统 模型 仿真 ， 同 时 也 可 以 通过 命令 形式 进行 模型 仿真 。 

交互 式 界 面 的 仿真 方法 简单 快捷 ， 但 是 当 需 要 对 仿真 模型 进行 重复 仿真 ， 或 者 在 仿真 模型 
中 模块 参数 动态 变化 等 情况 下 ， 这 种 交 吾 却 操 作 的 仿真 手段 会 带 来 极 大 不 便 。 

于 是 命令 行 仿真 手段 凸显 优势 ， 通 过 命令 行 仿真 ， 可 以 实现 动态 改变 模型 参数 ， 进 行 多 次 
模型 的 重复 仿真 和 数据 分 析 等 。 在 Simulink 仿真 环境 下 ， 与 MATLAB 数据 交换 的 方式 很 灵活 ， 
非常 方便 用 户 对 仿真 结果 进行 数据 整理 分 析 。 


8.2 _ Simulink 启动 以 及 建立 文件 


在 了 解 了 Simulink 基本 组 成 和 功能 介绍 后 , 可 以 利用 Simulink 仿真 平台 建立 仿真 模型 ， 对 
守 际 物理 模型 进行 仿真 。 本 节 将 主要 介绍 Simulink 仿真 平台 的 启动 、 仿 真 模型 的 建立 以 及 
Simulink 库 文 件 的 建立 。 


8.21 Simulink 启动 


在 启动 Simulink 仿真 环境 之 前 ， 应 该 首先 月 动 MATLAB 。 在 MAILAB 工作 环境 中 ， 忆 动 
Simulink 主要 有 以 下 3 种 方法 。 

(1 用 命令 行 Simulink 启动 Simulink 开 肥 环境 ,在 MAILAB 命令 窗口 (Command Window ) 
中 下 接 输入 命令 

>> SImuUlnK 


按 “Enter” 键 后 就 会 新 开 局 一 个 “Simulink Library Browser” 的 窗口 ， 如 疼 8-1 所 示 。 
(2) 第 二 种 方法 是 使 用 MAITLAB 工具 栏 按钮 “和 车 ” 月 动 Simulink 仿真 平台 ， 如 图 8-2 所 未 。 


下 


本 下 本 5 。 
二 全 和 全 和 
交 和 1 区 
3 Eee 


| 
和 新建” 打开 Simulink 帮助 
图 8-1 “Simulink Library Browser” 窗 口 图 8-2 _ Simulink 局 动 投 钮 


(3 ) 用 命令 行 Simulink3 启动 Simulink 开发 环境 ,在 MAILAB 命令 窗口 (Command Window ) 
中 直接 输入 命令 


>> NImulink3 


按 “Enter” 键 后 就 会 启动 一 个 标题 为 “Library: simulink3” 的 新 窗口 ， 如 图 8-3 所 示 。 从 
图 中 可 以 看 到 Simulink 库 中 的 一 些 主要 模块 库 。 双 击 模 块 库 ， 即 可 看 到 对 应 模块 库 中 的 元 件 列 
表 。 例 如 双击 连续 模块 库 〈Continuous )， 或 者 单 击 鼠 标 右键 后 选择 “Open Block” 选 项 ， 束 可 
以 在 新 窗口 中 看 到 连续 模块 库 中 所 包含 的 模块 元 件 ， 如 图 8-4 所 示 。 
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WE 开本 加 ET 二 村 WA 让 ie 于 计生 下 让 生生 
人 必 相 站 让 和 生 二 -GT 下 下 下 有 和 作息 和 下 直人 全 


LI- 间 本 Re 


8.2.2 MDL 文件 的 建立 


局 动 了 MATLAB/Simulink 仿真 平台 后 ， 希 要 建 记 -个 空白 的 仿真 模型 ， 即 .mdl 文件 。 新 
建 - -个 衬 日 的 系统 仿真 模型 可 以 有 以 下 几 种 方法 。 

(1) 单 击 主 窗口 “File” 菜 单 下 的 “New” 子 菜单 ， 选 择 “Model” 选 项 ， 或 者 在 Simulink 
主 窗 口上 按 “Ctrl+N” 快 捷 键 同样 可 以 创立 空白 的 仿真 异型 。 

(2) 单 击 Simulink 主 窗口 中 工具 栏 中 的 “ 口 ” 建 立 一 个 空 月 的 仿真 文档 ， 用“ 沾 ” 打 开 
个 当前 路 径 下 保存 过 的 仿 其 模型 。 

(3) 在 MAITLAB 主 窗 口 的 “File” 荣 单 下 的 “New” 和 子玉 单 中 ， 选 择 “Model” 选 项 。 

如 图 8-$ 所 示 为 新 建 的 仿真 模型 , 按 “Ctrl+S ”快捷 键 或 者 选择 保单 栏 <File” 单 下 的 “Save” 
选项 ， 输 入 仿真 模型 的 文件 名 ， 然 后 设置 模 芯 参数 与 系统 的 仿 芮 参数， 焉 可 以 完成 一 个 简单 系 
综 的 仿真 例子 。 在 这 个 仿真 模型 中 , 使 用 了 输入 源 模 抉 库 (Sources) 中 的 正弦 波 上 生 器 模块 (Sine 
Wave)、 数 学 模块 库 〈Math Operations) 中 的 绝对 全 模块 〈Abs) 以 及 输出 模 芯 库 〈Sink) 中 的 
示波器 模块 〈《Scope)。3 个 模块 的 功能 叙述 以 及 参数 说 首 如 下 。 

(由 正 弱 波 发 生 器 模块 《〈Sine Wave): 它 用 来 产生 一 定 幅 值 和 一 定 频 夺 的 正 缀 流 信 与 
X(t = 人 (4+A4)SImGO+H0) 。 同 时 可 以 设置 频率 采样 或 者 时 间 采 样 、 正 弦 波 信号 的 初始 相位 
和 但 移 量 。 右 键 单 击 该 模块 ， 即 可 对 模块 进行 参数 设置 。 在 “Sine type” 的 下 拉 束 单 下 可 以 选 
择 基 于 时 间或 者 基于 频率 的 正弦 波 信号 类 型 。Amplitude、Bias 可 以 分 别 设 置 幅 值 和 偏 移 量 ， 对 
必 于 4 和 入 4 ,Frequency 和 了 Phase 下 分 别 设置 正弦 波 信 号 的 频率 和 初始 相位 ,注意 单位 是 rad/sec 
和 rad。 最 后 设置 采用 时 间 “Sample time”， 如 疼 8-6 所 不 。 


二 站 
本 


和 的 生 生生 国 辐 生生 下 让 本 二 二 下 时 生 下 辣 站 全 全 抽 让 让 让 让 
和 


和 - 人 由 由 本 an 


疼 8.5 新建 的 仿真 模型 网 8.6 “正弦 波 发 生 器 模块 属性 设置 
@) 取 绝 对 值 模块 (Abs): 实现 绝对 值 功能 ， 属 性 设 四 使 用 默认 议 置 。 
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路 不 同 的 输出 信号 ， 需 要 增加 示波器 输入 端口 ， 这 里 需要 设置 示波器 的 属性 。 双击 Scope 模块 ， 
单 击 上 具 栏 按钮 “ 仅 所 示 的 






站 二 权 TREE TREE 下 二 ea- 
3 0 HE 本本 和 刘 让 让 由 全 直下 和 于 3 
下 下 是 站 和 有 本 en 地 全 全 直下 < 下 直下 六 人 We - 3 re 
ET 寻 出 这 本 全 2 | 上 2 于 

肖 区 


1 下 有 月 明寺 本 下 下 生机 人 和 全 生 让 ah 
: - 理 。 | 请 有 和 本 宙 本 直下 汪 相 小 本 二 本 和 全 让 
由 册 mW 站 站 re Pi 下- | 1 人 站 让 下 站 吕 Pa 二 





(a) “General” 属 性 页 (b) “Data history ” 届 性 页 


冬 8-7 ”不 衣 堪 模块 属性 设 午 


侍 “General ”属性 页 中 ， 根 据 珊 要 的 输入 站 口 数 量 设 置 “Number of axes” “Time range” 
编辑 丛 中 输入 示 沟 堪 时 间 轴 的 显示 范围 。 在 “Data history” 属 性 页 中 ， 去 把 “Limit data points to 
last 这 项 ,使 信号 能 够 完全 显示 于 示波器 中 。 如 条 需要 对 示 波 右 的 数据 进行 处 理 , 可 以 选择 “Save 
data to worKSpace” 选 项 ， 定 义 傈 和 存 和 蕉 量 的 名 称 及 数据 类 型 。 

在 怀 存 未 波 化 数据 时 ， 近 全 3 种 不 同 的 数据 格式 : 第 一 种 是 “Structure with time”， 第 一 利 
征 “gStruct " ， 第 三 种 是 “Array ”。 

(4) 当 完 成 了 仿真 模型 所 有 模块 的 参数 设置 并 且 正 确 地 设置 系统 仿真 参数 后 ， 就 可 以 进行 
恒 型 的 仿真 。 在 模型 窒 口 〈 如 图 8-5 所 示 ) 中 ， 单 击 荣 单 栏 “Simulation” 下 的 “Configuration 
parameters” 选 项 ， 或 者 按 “Ctrl+E” 人 快捷 键 ， 即 可 弹出 仿真 参数 设置 对 话 框 ， 如 图 8-8 所 人 。 
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图 8-5 所 示 ) 中 菜单 栏 “Simulation” 下 的 “start" 选 “| 虽 山 册 届 
项 , 或 者 按 快 捷 键 <“Ctrl+T? 或 者 单 击 工具 栏 按钮 * 六 ” 人 ， 
进行 醒 型 仿 芮 ， 络 采 如 图 8-9 所 未 。 

天 流 占 在 保存 的 不 同 数据 格 却 下 ， 数 据 结 构 不 尽 | 
相同 。 当 数据 格式 设置 为 “Structure with time” 时 ， | 


仿 呐 绽 束 后 ， 在 命令 窗口 中 得 入 图 8-9” 仿 其 结案 


>> COmPpare_SIne 
compare_slne = 
ttme: [200001 六 1 double| 





局 


噩 H 
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slgnals: [1 X2 strucft] 
bljockName: untitled/Sscope 

可 以 看 出 ， 示 波 器 保存 的 是 包含 时 间 和 信号 数据 的 结构 体 ， 同 时 还 有 示波器 模块 的 名 称 。 
而 信号 数据 也 是 一 个 结构 体 。 在 命令 窗口 中 输入 

signals_struct=compare_sine.slpgnals 
SIgnals_struct = 
1 X2struct array with fields: 
Values 
dinmnenslonas 
label 
ttjle 
plototyle 
如 打上 归 获取 时 间 和 信号 的 数据 可 以 分 别 用 以 下 命令 
>> time=compare_sine.time; 狗 获 取 仿 真 时 间 数 据 
>> pre_signal=compare_sine.signals(1).values;， 双 获 取 第 一 个 信号 的 数据 
>> aft_signal=compare_sine.signals(2).values; 多 获取 第 二 个 信号 的 数据 

汝 数据 格 式 浆 首 为 Struct 时 ， 仿 其 结束 后 ， 在 命令 窗口 中 输入 

>> Compare_SIne 

compare_Ssine = 

tme: |] 
Signals: [1 久 2 struct] 
blockName: cornpare_slne/Scope 

上 友 现 此 时 示 让 下 数 据 中 时 间 数 据 为 空 集 ， 并 且 没 有 保存 时 间 的 数据 。 信 和 号 数据 为 1X2 的 

第 一 种 数据 结构 Array 必须 是 示波器 为 里 输 入 时 才能 保存 为 数组 。 在 多 输入 情况 下 ， 必 须 
以 结构 体形 却 剑 他 数据 。 

示 疲 需 图 形 编辑 和 数据 处 理 方 法 。 

从 疼 8-9 可 以 看 出 ， 示 波 豆 仿真 结果 无 法 百 接 进行 编辑 ， 而 且 以 黑色 为 图 形 背 景 ， 不 利于 
工程 论文 图 形 卖 观 需 求 。 因 此 珊 要 对 未 疫 夫 图 形 或 着 数据 进行 重新 处 理 。 以 下 提供 5 种 基本 的 
处 理 方 了 式 。 

按 下 键盘 的 屏幕 打印 按钮 “PrintScreen”， 然 后 粘贴 到 “Windows” 位 图 编辑 器 ， 即 
Windows 下 目 市 的 画图 板 软 件 ， 选 择 图 像 单 击 右键 ， 选 择 “ 反 色 ” 即 可 。 

G@ 在 “Scope” 属 性 页 中 的 “Data history ”属性 页 ， 选 中 “Save data to workspace” 首 选 框 ， 
然后 在 “Variable Name” 编 辑 框 中 指定 变量 名 ,“Format” 下 拉 菜 单 下 选择 示波器 保存 数据 类 翅 ， 
将 仿真 数据 保存 在 工作 窗口 下 ， 使 用 plot 命令 绘制 仿真 结果 ， 如 图 8-10 所 示 。 

@@ 直接 在 模型 的 输出 信号 线 上 添加 “To Workplace” 模 块 ， 在 工作 窗口 中 将 仿真 数据 使 用 
plot 命令 绘制 出 来 。 

由 直接 在 模型 的 输出 信号 线 上 添加 Outport 模块 ， 用 plot 命令 绘制 tout 和 yout。 

@ 模型 仿真 结束 后 ， 等 示波器 Scope 显示 出 图 像 以 后 ， 在 MAILAB 的 命令 行 实 口中 输入 

>> Set(U, SbhowHiddenHandjes ,on ) 

>> Set(gcft, menubar ,fgure ) 
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单 击 菜单 栏 的 “nsert” 选 项 ， 光 标 会 变 成 “十 ”字形 状 ， 然 后 在 图 像 的 任意 一 处 双击 左 键 
出 现 一 个 “proprtyEditor ”对 语 框 ， 选 中 “style"， 在 窗口 的 右边 会 出 现 “color” 选 项 ， 这 时 了 丈 
可 以 任意 修改 波形 表 景 斋 色 ， 同 时 也 可 以 对 由 线 赢 色 及 举 标 轴 进 行 设置 ， 络 束 如 图 8-11 所 示 。 


机 人 他 总 更 0 本 : 二 新 增 加 的 

到 -10 、 ，. 

必 避 性 .5 1 1.5 久 

本 Timelserc) 

S ] 已 

8。 

虽 0 

二 吕 0.5 1 性 

Tim 呈 (1SeC1 2 0 0 
图 8-10 ”不 波 器 数据 处 理 岁 形 图 8-11 修改 结果 

作 傅 信行 窗口 中 输入 以 下 绘图 命令 ， 结果 如 图 8- ] 0O 听 示 。 
subplot(2 1 1 


tme=compare_Sslne.tme; 
pre_Slgnal=compare_slne.slgnals(1),values; 
aft_slgnal=compare_Sslne.Slgnals(2).values; 
pjot(tme,pre_Slenaj) 

grid on 

xlabel( TIme(secy) ); 

ylabel( origlnal signal ) 

subplot(212): 

plot(ttme,aftt_SsIenajl 

gTld on; 

XlabelCTimne(sec) ); 

ylabel( absolute Signm3 


以 上 通过 -=- 个 简单 的 系统 模型 演示 了 Simulink 建 模 与 仿真 的 基本 步骤 。 读 者 通过 这 -部 分 
的 学 习 能 够 大 敏 了 解 一 个 Simulink 仿真 模型 建立 的 步 又 、 示 波 器 数据 图 像 化 显示 的 基本 方 法 以 
及 仿真 数据 的 区 ee 在 后 续 瘟 节 中 ， 会 更 加 详细 地 介绍 Simulink 模块 库 各 模块 的 功能 、 
使 用 方法 和 应 用 场所 ， 通 过 更 加 深入 的 学 习 ， 恋 者 能 够 轻松 地 建立 相对 简单 的 Simulink 仿真 栋 
型 。 对 于 复 获 系统 、 人 连续 混合 系统 的 仿真 ， 在 介绍 完 命 令 行 仿 真 技 木 后 硕 望 谈 者 能 够 进 
一 稍 对 这 些 内 容 进 行 药 习 。 


8.2.3 Simulink 库 文件 的 建 


Simulink 仿真 平台 可 以 建立 用 户 目 定 义 的 库 文 件 ， 并 将 它们 显示 在 “Library Browser” 窗 
上 站 下 ， 方 便 用 户 进行 模块 的 操作 。 有 用户 可 以 将 一 些 平 时 使 用 比较 频 索 或 者 日 已 建立 的 一 些 封 痕 
子 模块 集中 在 一 起 ， 方 便 使 用 。 要 建立 Simulink 库 文 件 ， 首 先 月 动 Simulink 工作 窗 目 ， 单 击 洲 
单 “File” 下 的 “New” 子 菜单 ， 选 择 “Library” 和 选项， 打开 一 个 新 的 Library 窗口 界面 ， 此 时 ， 
用 户 可 以 将 日 已 需要 添加 的 - 些 模块 加 入 到 新 的 窗口 中 ， 如 图 8-12 所 未 。 然 后 保存 为 所 南 归 定 
义 的 库 文件 名 称 。 昌 然 按 照 上 述 方法 ,可 以 将 一 些 用 户 名 用 的 模块 集中 在 - :起 方便 使 用 ， 但 起 ， 
每 次 使 用 都 需要 打开 自 定 义 模块 窗口 ， 而 无 法 像 Simulink 仿真 模 堪 -: 样 显 示 在 “Library 
Browser” 窗 上 口 下 。 按 照 以 下 步骤 可 以 改 党 这 种 情况 。 


第 8 章 %imulink 





(1) 百 先 建立 一 个 库 文 件 , 将 和 目 定 义 的 封装 模块 加 入 库 文 件 中 , 如 图 8-12 所 示 ， 保 存 文件 ， 
什 这 里 ， 命 名 为 own_function.lib。 

(2) 在 MAILAB 路 径 下 创建 存放 库 文 件 的 路 径 ， 也 即 目 定义 的 模块 库 在 Library Browser 
下 的 亚 示 位 置 。 注 意 在 MAILAB 中 ， 每 一 个 模块 库 文件 所 在 的 路 径 必 须 不 相同 。 创 建 的 
MATLTLAB 路 径 是 C:Program FilesNMATLAB71LworkmyLibrary (根据 自己 的 MATLAB 安装 路 径 
来 傅 定 )， 其 中 myLibrary 为 目 定 义 的 文件 炎 ， 如 图 8-13 所 示 。 


下 


图 8-12” 库 文件 窗口 图 8-13 ”添加 模块 路 科 


(3) 将 第 一 步 中 建立 的 库 文 件 复 制 到 新 
建 的 MAILAB 路 径 下 。 在 MAILAB 主 窗 口 
的 “File” 沫 单 栏 下 选择 “Set Path” 选 项 ， 
然后 单 击 “Add Folder” 按 和 留 ， 将 新 建 的 路 
径 洪 加 进来 ， 如 图 8-14 所 示 ， 然 后 保存 
(Save)、 退 出 〈Close )。 
(4) 显示 目 定义 的 模 甘 库 ， 还 南 要 复制 
slblocksm 了 数 到 新 建 的 路 径 下 。 在 1 5 
MATLAB 的 命令 窗口 输入 图 8-14 已 添加 自 定义 模块 路 径 的 显示 窗口 
whaichtslbjocks.m , -ai ) 
open(CC:Program Files\MATLAB7ititoolboxslimulinkblocks\slblocks.m") 


这 样 承 可 以 打开 slbocks.m 文件 模板 ， 为 了 将 目 定 义 的 模 堪 库 吕 示 在 “Library Browser” 窗 
口 下 ， 需 要 对 该 程序 进行 修改 。 在 本 细 示 中 ， 模 顽 库 名 称 为 own_function.lib， 央 此 对 应 的 
slbocks.m 文件 为 


function blkstruct = slblocks 

5%psSLBLOCKS Defines the block Hbrary. 

和 Library s name, TIhe name appears in the Library Browsers 
%contents pane. 

% 模 块 库 的 显示 名 称 

blkstruct.Name = [own Definition sprmtt(n ) Library ]; 

2 The function that will be called wbhen the user double-clicks on 

2 the lbprary s name， 

% 目 定义 的 模块 库 名 称 

blkstructOpenFcn = Own_functlon ; 

5 The argument to be set as the Mask Dlsplay for the subsystem， YYoOU 
% may comment thjis line out 二 no specibc mask 1s deslred. 

5% 上 Example: blkstruct.MaskDisplay = Plot([0:2#Pp1,sInCLU:2 pi) ; 
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% No display for Slimnnulink Extras， 

O 

blkstruct.MaskDispjlay = “; 

色 End of siblocks 

按照 以 上 的 代码 修改 文件 后 ， 将 其 复制 到 目 定 义 的 路 径 下 ， 这 样 在 原来 自 定义 的 路 径 下 就 
包 全 了 两 个 文件 ， 一 个 是 目 定义 模 卖 库 文件 ， 另 一 个 则 是 slblokcs.m 文件 。 

(5$) 重 新 司 动 MATLAB 环境 ,月 动 Simulink 仿真 平台 , 如 图 8-15 所 示 , 可 以 发 现在 “Simujlink 
Library Browser” 窗 口 下 增加 了 一 个 新 的 模块 库 ， 名 称 是 own Definition Library， 展 开 后 ， 可 以 
看 到 内 部 的 目 定 义 模 块 。 那 么 用 户 可 以 方便 地 进行 拖 放 模块 ， 可 以 使 用 自 定 义 的 封装 模块 了 。 


nt 


下 fk8gsi 二 新 增加 的 模块 
贿 - 库 中 的 模块 


新 增加 的 横 其 库 二 iiL ty 和 
WOwn Definiton Lbrary 8 本 人 


图 8-13 “Simulink Library Browser” 窗 口 下 显示 日 定义 模块 库 


8.3 _ Simulink 交互 式 仿真 集成 环境 


8.3.1 _ Simulink 仿真 


Simujlink 模型 本 质 上 是 一 个 计算 杭 程 序 ， 生 定 义 了 摘 写 杖 仿真 系统 的 一 组 微分 或 差分 方 
程 。 当 选中 模型 窗口 菜单 “Simulation” 一 “Start” 时 ，Simulink 就 开始 用 一 种 数值 解 算 方法 

Simulink 仿真 参数 都 有 内 定 的 默认 值 ， 也 可 以 对 各 种 仿真 参数 进行 重新 配置 ， 包 括 仿 真 的 
起 始 和 终止 时 刻 的 议定 、 仿 真 步 长 的 选择 、 各 种 仿真 精度 的 选 定 、 数 信 积 分 算法 的 选择 、 是 否 
从 外 界 获得 数据 、 是 否 同 外 界 竹 出 数据 等 。 

达 中 模型 窗口 有 薪 音 “Simulation ”一 “Configuration Parameters”， 就 可 以 出 现 仿 真 参 数 配 置 
对 话 框 。 本 节 简 单 介绍 解 算 恬 参 数 设 置 页 和 仿真 数据 的 输入 /输出 设置 页 。 

解 算 器 参数 设置 在 “Configuration Parameters: untitled/Configuration ”窗口 中 “Solver” 和 葬 
单 下 ， 如 图 8-8 所 示 。 

(1) 仿真 时 间 (Simulation titme) 区 域 。 

CU Starttime: 仿真 起 始 时 间 。 

@) Stop time: 仿真 结束 时 人 间 。 

(2) 解 算 器 选项 〈Solver options) 区 域 。 

CD Type 和 Solver: Type 用 来 选择 解 算 器 的 类 别 〈 变 步 长 和 定 步 长 )，Solver 用 来 选择 解 算 
器 的 具体 算法 类 型 (ode4$、ode23、ode113、odel1ss 等 )。 
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CC Max step Size: 最 大 步 长 。 

G@) Min step size: 最 小 步 长 。 

4) Initial step size: 初始 步 长 。 

(G) Relative tolerance: 相对 精度 。 

(6) Absolute tolerance: 绝对 精度 。 

(C) Zero crossing control， 才 军 越 控制 。 

(3) 诊断 控制 (Solver diagnostic controls) 区 域 。 

( Number of consecutive min step Size violations allowed:， 达到 最 小 步 长 的 允许 次 数 。 

(2 Consecutive zero crossings relative tolerance: 零 区 叉 相 对 精度 。 

G) Number of consecutive zero crossing allowed: 雪 区 叉 允 许 识 数 。 

仿真 数据 的 输入 /输出 议和 置 矶 在 “Simulation Configuration Parameters: untitled/ Configuration ?” 
窗口 中 “Data ImporVExport” 束 音 下 ， 如 图 8-16 所 不。 

(1) Load from workspace 区 . 域 选 择 是 否 从 MATLAB 工作 空间 导入 数据 。 

(CD Input:， 输入 数据 变量 名 。 

CC) Initial state:， 导 入 数据 变量 的 初始 但 。 

(2) Save to workspace 区 域 选 泉 是 否 寻 出 数据 到 MATILAB 工作 空间 。 

(Time: 选择 此 项 则 模型 把 《时间 ) 独 芯 变量 以 指定 的 变量 名 存储 到 工作 空间 。 

G@ States: 选择 此 项 则 模型 把 其 状态 变量 以 指定 的 变量 名 存放 于 工作 空间 。 

G@) Output: 选择 此 项 则 模型 将 输出 变量 以 指定 的 变量 名 存放 于 工作 空间 。 

Final states: 选择 此 项 则 模型 将 最 终 状 态 杰 量 以 指定 的 变量 名 存放 于 工作 空间 。 

人 Signal logging: 选择 此 项 则 模型 将 信号 已 制定 的 变量 名 存放 于 工作 空间 。 

(6) Inspect signal logs when simulation is paused/stopped: 选项 此 项 则 在 仿真 停止 或 者 暂停 的 
盯 候 对 信和 号 进行 检 合 。 


生计 和- 靖国 和 和 让 丽人 和 和 和 革 生生 村 ee 各 估计 本 让 生生 站 下 直下 站 间 用 全 站 本 < 生息 全 -计生 人 个 入 -插入 村 关 让 让 人 由 汪 站 
站 全 让 让 全 人 生 放生 仆人 仆仆 相交 本 村 和 的 个 的 作 让 们 个 
下 ET 
直下 由 三 
省 于 让 训 辣 相生 可 四] 本 相生 -下 和 训 二 村 让 全 和 机 下 下 下 相生 仆仆 全 全 贡 仙 放任 和 贡 二 央 下 让 -本 台 全 币 -站 光 庆 二 下 四 生生 让 让 下 下 的 于 下 丽 本 本 2 于 本 下 下 让 全 人 
于 下 下 让 本 全 下 人 下 -和 让 让 相生 下 本 下 直 由 相让 于是 本 下 让 让 半 科 相让 站 仆人 和 让 村 和 相册 和 让 起 作 下 下 


图 8-16 输入 /输出 参数 设置 


(3) Save options 区 域 确定 变量 仔 放 方式 。 

(CD Limit data points to last: 选择 此 项 则 设 定 了 保存 数据 的 长 度 。 

@ Decimation: 保存 数据 的 间隔。 

G@) Format: 选择 保存 数据 的 格式 〈 数 组 、 结 构 、 市 时 间 的 结构 )。 
Output options: 输出 数据 存储 模式 。 

人 Refine factorf: 当选 择 “Refine output” 时 ， 则 需要 选择 这 个 数据 。 
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8.3.2 Simulink 模型 属性 设置 


在 仿 员 模型 的 空 蝗 处 ， 单 击 鼠 标 右键 ， 选 择 “Model 
Properties” 选 项 ， 弹 出 模型 属性 设置 对 话 框 ， 如 图 8-17 所 
小 。 在 模型 属性 设置 中 ， 最 重要 的 是 “Callbacks” 属 性 页 ， 
任 这 个 属性 页 中 , 包括 了 多 个 不 同 的 回调 函数 ， 可 以 编写 程 
订 代 但 ， 在 Simulink 仿真 时 ， 会 在 不 同时 间 调 用 相应 的 加 ~ 
调 曙 数 。 多 8-17 模型 属 性 设 署 


8.4 Simulink 的 模块 


MAILAB/Simulink 仿 芮 平台 提供 了 大 量 、 实 用 的 模块 库 ， 用 户 可 以 使 用 这 些 模块 库 中 的 元 
件 构建 特定 的 仿真 模型 。 这 些 模块 库 主要 包括 连续 系统 模块 库 、 离 散 系 统 模块 库 、 非 线性 模块 
库 、 信 号 与 系统 模块 库 、 数 学 模块 库 、 接 收回 模块 库 、 输 入 源 模 蕊 库 、 输 出 模块 库 以 及 子 系统 
恒 块 库 等 。 

用 户 通 过 这 些 基本 的 模块 库 可 以 构建 一 些 复杂 的 仿真 系统 ， 因 为 Simulink 仿真 库 基本 上 水 
入 了 所 有 连续 系统 、 离 散 系 统 的 基本 元 件 ， 如 果 仿 真 对 象 能 够 使 用 数学 模型 表示 ， 那 么 就 可 以 
用 数学 库 的 相关 元 件 构建 子 系统 。 

对 于 一 些 动 态 时 变 的 复 水 系统，Simulink 提供 了 用 户 目 定义 图 数 及 S-function 定义 模块 的 
方式 。 态 外 ， 用 己 也 可 以 将 目 己 建立 的 子 模 抉 集中 在 目 己 定义 的 模块 库 中 ， 以 便 能 够 极 大 地 扩 
充 Simulink 工具 箱 。 

下 面 简 单 地 对 Simulink 仿真 平台 主要 的 基本 模块 做 一 些 介 绍 , 在 介绍 每 个 基本 模块 的 同时 ， 
通过 … 些 应 用 实例 癫 示 相应 第 用 模块 的 使 用 。 


8.4.1 ”连续 模块 库 


连续 模 顽 库 如 图 8-18 所 和 东 。 连 续 模 块 库 主要 包 拓 积分 、 徽 分、 记忆 模块 ， 传 输 延 时 模块 ， 
状态 方程 模块 ， 传 输 图 数 模 块 ， 堆 极点 传输 函数 模块 和 变 时 段 的 延 时 模块 。 各 个 功能 模块 的 名 
称 和 对 应 的 功能 摘 述 如 表 8-1 所 示 。 


表 8-1 连续 模块 库 中 各 个 模块 的 名 称 与 功能 描述 


民 块 名 科 功能 摘 述 
Integrator 对 巡 续 信号 的 积分 
Derivyative 对 连续 信 叶 的 微分 
Memory 记忆 模 氛 ， 输 出 前 -时 纪 系 统 的 输入 
Transport Delay 将 输入 延 志 一 个 给 定 的 时 间 段 
State-Space 实现 一 个 线性 系统 的 状态 方程 
Transfer Fcn 实现 一 个 线性 的 传递 亢 数 
Zero-Pole 实现 一 个 零 极点 形式 的 线性 系统 


Variable Transport Delay 将 和 输入 延迟 一 个 可 变 的 时 间 堪 


第 8 和 章 %imulink 


在 连续 模 挟 库 中 ， 使 用 较为 频繁 的 是 积分 、 徽 分 、 状 态 方程 、 传 输 函 数 等 模块 ， 下 面 的 实 
例 淘 示 这 些 模块 的 作用 。 仿 真 模型 如 图 8-19 所 示 。 


品 aprery。 omwyinrarcortinve ， 记 | 卫 
二 站 
| | 芭 时 


P] 必 避 胡可 由 下 rm 于 和 





图 8-18 连续 模块 库 

在 图 8-19 所 示 的 仿真 模型 中 ，PID 控制 礁 采 
用 Simulink 封 竣 形式 ， 实 现 PID 调节 功能 。 选 中 
PID 模块 ， 单 击 纪 标 右 键 ， 在 弹出 薪 音 选择 “look 
under mask” 歼 可 以 租 看 其 内 部 结构 ， 如 图 8-20 
折 不 。 

选择 输入 源 模 块 库 (Source ) 正 弱 波 模块 CSine 
Wave)、 输 出 模块 库 (Sink ) 的 示 波 厚 措 协 (CScope ) 
和 连续 模块 库 〈Continuous ) 的 积分 模块 〈Integrator)、 微 分 模块 〈(Derivative )、 传 输 函 数 模 块 
CTransfer Fcn)、 和 零 极 点 模块 〈Zero-Pole) 和 数学 模块 库 〈Math) 的 增 从 模块 〈Gain)， 挫 建成 
如 图 8-19 所 示 的 仿真 模型 ， 然 后 进行 模块 的 属性 帮 置 。 

色 8-21 和 图 8-22 所 示 分 别 是 传递 图 数 模块 〈Transfer Fcn) 和 和 零 极 点 模块 (Zero-Pole) 的 
参数 说 前 。 当 传递 函数 以 分 了 于 分母 多 项 式 表 丰 时 ， 可 以 使 用 Transfer Fcn 模块 ， 在 分 和子 
(Numerator) 和 分 母 (Denominator ) 中 分 别 输入 传递 图 数 的 多 项 陈 系 统 ( 系 数 由 高 次 依次 下 降 )。 
当 传 递 水 数 以 零 极点 形式 表示 时 ， 可 以 使 用 Zero-Pole 模块 ， 在 零点 (Zero) 和 极点 (Pole) 处 
输入 传递 图 数 的 零 极 点 ， 同 时 在 增益 〈Gain) 处 输入 传递 图 数 的 增益 。 在 MATLAB 中 ， 提 供 
了 图 数 进 行 不 同 模 陈 之 间 的 转化 。 
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图 8-20”PID 模块 封装 结构 





ia 让 


图 8-21 ”传输 函数 模块 参数 设置 图 8-22” 零 极点 模块 参数 设置 
[zeros,polesk]=tt2zp(num,den); 各 将 传递 冰 数 模型 转化 为 零 极 所 模型 本 
[num,den]=zp2tf(zeros,poles); 将 零 极 点 模型 转化 为 传递 冰 数 模型  、: ， 
设置 正弦 波 信号 幅 值 为 S， 偏 差 为 0， 频率 SHz， 初 始 相位 为 0。 设置 PID 控制 器 的 参数 为 
Kp=10.7$5，Ki=1.2，Kd=3.5。 采 用 变 步 长 的 ode23t 算法 ， 仿 真 时 间 为 23， 对 仿真 模型 进行 仿真 。 
可 以 看 到 ， 两 种 不 同 的 传递 函数 表示 方法 ， 结 果 是 完全 相同 的 。 


8.4.2 ”离散 模块 库 
离散 模块 库 主 要 实现 离散 系统 的 仿真 ， 包 括 离散 的 状态 方程 、 传 输 图 数 、 采 样 保 持 、 离 向 加 
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只 分 等 模块 ， 如 图 8-23 所 示 。 表 8-2 所 示 为 离散 模块 库 中 各 个 模块 的 名 称 与 功能 描述 。 
表 8-2 ”离散 模块 库 模块 名 称 和 功能 描述 
模块 名 称 功能 描述 


Zero-Order Hoid 实现 -个 采样 周期 购 零 阶 保 持 器 
Unit Delay 延迟 输入 “个 采样 周期 
Discrete-Time Integrator 对 输入 信号 进行 秽 艇 的 积分 
Discrete State-Space 实现 一 个 离散 的 状态 方程 
Discrete Filter 实现 TR 和 FIR 滤 流 只 

Discrete Transfer Fcn 实现 一 个 离散 的 传输 函数 


Discrete Zero-Pole 


实现 一 个 以 零 极 点 表示 的 传输 函数 
实现 一 个 一 阶 的 采样 保持 
在 离散 模块 库 中 ， 离 散 积分 模块 、 离 散 状态 空间 方程 、 离 散 的 传递 函数 和 零 极点 模型 与 连 


续 库 〈Continuous) 中 相应 模 殊 的 使 用 完全 相同 ， 这 里 通过 仿真 模型 冰 泵 零 阶 体 振 郝 、 一 阶 保 
人 本 仿真 模型 如 图 8-24 所 示 。 
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图 8-23 离散 模块 库 图 8-24 ”离散 模块 库 演 丰 实例 


选择 零 阶 保持 器 、 一 阶 保持 器 和 单位 周期 延迟 模块 ， 设 置 它们 的 采样 时 间 均 为 20ms， 仿 真 
得 到 的 波形 如 图 8-25 所 示 。 为 了 让 读者 更 清楚 地 观察 3 个 模块 及 其 与 连续 国 数 的 关系 ， 将 不 这 
器 数据 保存 ， 重 新 绘制 ， 如 图 8-26 所 示 。 在 MAILAB 的 命令 行 窗口 中 输入 

color style={KTb-m] 

for 1=]:length(color_style) 


plot(scopeData.ttme ScopeData. signals values(:,i),color stylefi)y 
hold oni; 


end 


continuous 本 Zero-order hold , unlt delay RN hold ) 





5 
图 8-25” 示 波 齿 显 未 线 朱 图 8-26 ”重新 绘制 后 的 仿真 纸 采 
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8.4.3 “ 非 线 性 模块 库 


非 线性 模块 库 主 要 摘 述 非 线 性 系统 的 特性 ， 包 括 死 区 、 离 敢 脉 冲 、 限 幅 和 输出 和 继电器 等 一 
些 非 线性 系统 ， 如 图 8-27 所 示 。 表 8-3 所 示 为 各 个 模块 的 名 称 和 功能 描述 。 
表 8-3 非 线性 模块 库 模 块 名 称 和 功能 描述 
模块 名 称 功能 描述 

Rate Limiter 实现 信号 变化 率 的 限制 
Saturation 和 输出 信号 幅 值 的 限制 
Quantizer 将 输入 信号 以 给 定 步 长 离散 化 
Backlash 将 输入 信和 号 整体 后 移 一 个 死 区 宽度 
Dead Zone 在 死 区 区 间 内 将 输入 信和 与 变 为 零 
Switch 开关 ， 实 现 信 扎 的 升天 选择 
Manual Switch 于 动 升 关 
Relay 继 电 厂 
Multiport Switch 多 路 选择 开关 
Coulomb 让 Viscous Friction 得 入 信号 在 零 氮 处 非 和 连续 ， 在 非 零点 处 进行 线性 放大 ( 擅 小 ) 


在 非 线性 模块 库 (Nonlinear) 中 ， 使 用 较为 频繁 的 是 Switch 模块 、Multiport Switch 模 世 以 
及 继电器 模块 。 图 8-28 所 示 的 仿真 模型 可 以 用 来 选择 不 同 的 区 则 和 输出 ， 即 实现 如 表 8-4 所 未 的 
和 输出， 输入 为 角度 ， 输 出 为 角度 对 应 的 区 间 号 1~6。 仿 真 模型 中 ，Switch 开关 的 几 值 设 定 从 
Switch 一 Switch4 依次 为 4r3、T、273、m3 和 0，MATLAB Fun 调用 mod 函数 将 输入 的 角度 转 
化 到 0~25 的 区 间 内 。 常 数 信号 输入 和 MATLAB Fun 的 属性 设置 如 图 8-29 和 8-30 所 示 。 
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图 8.27， 非 线性 模块 库 模 块 图 8.28 ”区 间 选 择 仿真 模型 
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图 8-29 ”常数 信号 输入 属性 页 设置 图 8-30 MATLAB Fun 模块 属性 页 设置 
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区 加 但 表 仿 真 结 果 如 图 8-31 所 示 。 
当然 ， 对 于 这 样 一 个 简单 的 角度 区 间 查 询 的 功能 实现 ， 也 可 以 直接 编写 MATLAB 的 M 广 
件 进 行 仿真 ， 可 以 不 需要 搭建 如 此 复杂 的 仿真 模型 结构 。 编 CT 


function num= RE 

U=Imodtu,2#pl); 

让 (U>=0) 双 (u<pi/3) 
num=] : 

elseli (U>=Pp1U3) 及 (<2+*pi3) 
nutn 三 2 : 

elseii (U>=2x#pl3) 放 (QU<pi) 
nuUm=3; 

elselif (uU>=pl) 皮 (Q<4*P13) 
nuUrmm 一 4; 

elself (U>=4#*pV3) 让 (U<S*xpl3) 
num 三 》; 


SR 
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En 
roH 二 一 一 


仙人 太 全 入 生生 科 人 人 仙 仆人 
0 站 生 放生 全 芷 着 全 仙人 
本 人 生生 放生 人 和 和 计 让 全 
生生 让 人 Ca 
SR 抽 抽 NE 





else 
num= 避 : 


efid 


和 达 择 MAILAB Fcn 模块 ， 在 属性 页 下 的 MATLAB function 下 输入 自 定 义 的 M 文件 名 
positionDetection， 那 么 同样 可 以 实现 如 表 8-4 所 未 的 角度 区 间 查 询 功能 。 通过 两 种 方法 的 比较 ， 
得 结 贿 与 M 文件 同样 可 以 实现 很 多 复杂 的 功能 ， 毕 竟 用 M 文件 编写 程序 更 加 灵活 。 

贿 与 M 文件 的 格式 : function Output=DefinationFunction (InpubD)， 这 里 输入 Input 和 输出 
Output 要 基 部 可 以 是 一 维 或 者 是 多 维 的 。 当 输 入 输出 变量 为 多 维 情况 时 ， 可 以 用 Signal Routing 
下 的 Mux 和 Demnux 模块 进行 信号 的 综合 和 分 解 。 综 合 地 运用 Simulink 模块 库 、M 文件 编程 ， 
可 以 更 如 灵活 地 建立 复杂 的 仿真 模型 。 


3.4.4 信和 写 和 系统 模块 库 


信号 与 系统 模块 主要 实现 数据 总 线 ， 信 和 号 综合 和 分 解 、 信 和 号 选择 、 数 据 存 储 、 读 写 短 功 能 。 
基本 组 成 模块 如 图 8-32 | 8-5 给 出 了 信 3 和 
ee 0 0 ww ， 0 1 0 ee 
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图 8.32 信号 与 系统 模 其 库 
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表 8-5 ”信号 与 系统 模块 库 模 块 名 称 和 功能 摘 述 


功能 描述 
创建 一 个 信号 总 线 
从 输入 总 线 中 选择 输出 信和 号 
将 多 个 输入 信号 综 合成 向 量 输出 
将 回 量 输入 信和 号 分 解 成 多 个 信和 吕 输 出 
接客 从 Goto 模块 的 箱 入 
将 模块 输出 传递 到 From 模 扎 
定义 Goto 模块 标志 的 实用 范 寺 
选择 输入 回 量 信 号 或 者 对 输入 信号 重新 排序 
向 给 定 信号 ( 同 量 或 者 矩阵) 的 某 苑 素 赋 值 
将 输入 信号 连接 成 列 问 量 、 行 网 量 或 者 是 阵 
将 输入 信和 号 合并 成 一 个 信号 输出 
从 其 吾 的 数据 内 存 区 中 旋 册 数据 
定义 一 个 共享 的 数据 内 存 区 
问 共 芋 的 数据 内 存 区 中 写 信 数据 
改变 输入 信 吕 的 维度 
对 输入 信号 数据 类 型 进行 转换 
设置 输入 信和 号 的 初始 值 
条 出 和 输入 回 量 的 宽度 
在 模块 中 显示 仿真 模型 唉 本 信息 ， 包 括 作 者 、 人 和 修改 日 期 、 模 型 拍 述 、 模 型 版 本 等 
设置 信号 的 属性 
在 模型 中 创建 txt 文件 


土 号 与 系统 模块 库 主要 包括 各 种 信号 流向 和 总 线 设置 的 一 些 模块 ,以 及 数据 内 存 Data Store 


Memory 相关 模块 、 数 据 类 型 转化 Data Type Conversion 模块 。 
8.4.5 ”数学 模块 库 


数学 模块 库 是 Simulink 中 较为 核心 的 模 其 库 ， 在 实际 的 仿 芮 模 青 中 ， 人 仿真 对 象 总 起 可 以 用 
数学 模型 来 描述 ， 因 此 涉及 各 种 数学 运算 。 同 时 数 尝 模块 库 也 是 构建 目 定 义 模 其 的 基础 。 

从 某 种 意义 上 说 ， 利 用 数学 模 氛 库 可 以 建立 任何 一 个 可 以 用 数学 栋 开 表 示 的 仿 芮 对 银 。 册 
此 数学 模块 库 也 是 Simulink 仿真 中 使 用 最 为 频 又 的 模块 库 。 
表 8-6 给 出 了 各 模块 的 名 称 和 功能 描述 。 数 学 模 ee 
块 库 几 乎 包含 了 背 用 的 基本 数学 操作 ， 包 括 加 减 
乘除 运算 、 增 益 运 算 、 三 角 函 数 、 取 整 函 数 、 称 
辑 比 较 操 作 、 复 数 操作 等 相关 函数 。 对 于 一 个 给 
定数 学 模型 的 实际 物理 系统 ， 都 可 以 通过 这 上 抒 数 
学 运算 模块 来 进行 搭建 仿真 ， 谈 独 应 该 要 邹 练 党 


ee 
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表 8-6 ”数学 模块 库 模 块 名 称 和 功能 描述 


模块 名 称 功能 描述 
Sum 对 输入 信号 进行 相 加 减 
Product 将 输入 信号 相 乘 或 相 除 
Dot Product 对 输入 信号 ( 同 量 或 者 矩阵 ) 点 乘 
Combinatorial Logic 答 出 和 输入 信号 ( 布 人 尔 逻 辑 ) 对 应 行 的 组 合 膛 辑 
Logical Operator 辽 辑 操作 符 ， 包 括 与 、 或 、 非 等 
Bitwise Logical Operator 位 逻辑 运算 符 
Relational Operator 关系 运算 符 
Gain 将 和 输入 信号 ( 回 量 或 者 单 值 ) 科 上 一 定 倍数 输出 
Slider Gain 浅 动 条 增 和 区 
Matrix Gain 将 得 入 人 号 (起 阵 ) 乘 上 -征伐 数 输出 
Compjlex to Magnitude-Angle 将 复数 转化 为 帆 便 和 相 角 形式 
Magnitude-Angle to Complex 将 幅 值 和 相 和 角形 式 转化 为 复数 
Complex to Real-Imag 将 复数 转化 为 实 部 和 虚 部 形式 
Real-Imasg to Complex 将 实 部 和 虐 部 形式 转化 为 复数 
Math Function 数学 羡 数 
Trigonometrix Function 一 攻 病 数 
MinMax 葵 出 输入 什 气 的 最 小 或 者 最 大 值 
Abs 和 输入 信和 号 取 绝 对 值 输 出 
Sign 符号 汞 数 
Rounding Function 取 整 函 阁 
Algebraic Constraint 限制 输入 信号 为 0 


8.4.6 ”输出 模块 库 


输出 模 菇 库 主 要 用 于 数据 图 像 化 显示 、 仿 真 数 据 
的 保存 冯 示 、 仿 上 中 止 等 恒 块 。 其 中 示 波 齿 模 块 和 输 
出 交口 Outl 模块 使 用 较为 频繁 。 如 图 8-34 所 示 为 输 
出 模块 库 中 的 基本 模块 。 表 8-7 所 示 为 各 模块 的 名 称 人 
和 功能 朱 述 。 图 8-34 输出 模块 库 


表 8-7 ”输出 模块 库 模块 名 称 和 功能 描述 


模块 名 称 功能 描述 
Scope 示波器 ， 数 据 图 像 化 显示 
Floating Scope 序 点 不 站 器 
XY Graph XY 轴 图 形 显 示 
Onutj 输出 端口 


Display 数字 显示 
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续 表 


模块 名 称 功能 描述 
To File 输出 数据 到 mat 文件 
To Workspace 输出 数据 到 工作 窗口 
Terminator 无 连接 端 门 的 终端 


当 和 输入 菲 堆 时 停止 仿真 


Stop SiImulation 
8.4.7 ”输入 源 模块 库 


频繁 的 模块 库 ， 主 要 用 于 产生 仿真 所 需要 的 输 一 一 
入 信号 深 ， 包 括 阶 跃 信 号 、 笠 披 信 号、 正 驴 信 
号 、 随 机 数 信 和 号、 仿真 时 钟 等 。 如 图 8-3$ 所 丰 E 
为 输入 源 模 块 库 中 的 基本 模块 。 表 8-8 所 示 为 ER 
各 模块 的 名 称 和 功能 描述 。 图 8-35 ”输入 源 模块 库 模 块 


表 8-8 输入 源 模块 库 模 块 名 称 和 功能 描述 


模块 名 称 功能 摘 述 
il 输入 端口 
(COnstant r 生 贞 数 
Signal Generator 信号 故 生 器 ， 可 产生 正 怠 疲 方 波 、 修 上 元 波 和 随机 数 
Ramp 产生 用 级 依 导 
Pulse Generator 脉冲 发 生 器 
Step 产生 险 跃 信号 
Repeating Sequence 产生 和 车 复 序 列 
Sine Wave 产生 正弦 波 信 与 
Chirp Signal 产生 虐 声 信号 
Ground 无 连续 信号 的 接地 


Clock, Digital Clock 
From Pile 


Prom workspace 


仿真 时 钟 ， 数 子 时 氏 
谈 和 来 日 文件 的 数 搞 
读 入 米 上 日 工作 窗口 的 变量 数据 


Random Numiber 产生 随机 数 
Unjform Random Number 产生 均匀 随机 数 


Band-Limited White Noise 产生 和 白 品 声 依 号 


得 入 源 模 握 库 是 实现 数据 答 入 、 和 输出 、 信 筷 的 产生 以 及 仿真 结 未 的 亚 示 。 恕 绅 采 ， 


MATLAB 数据 的 得 入 输出 有 以 下 的 儿 种 方法 。 
|] ) 数据 的 输入 


(1) 从 工作 空间 中 输入 数据 : 选择 Sources 模块 库 下 的 From Workspace 模块 ， 需 要 定义 从 


工作 空间 中 输入 数据 的 名 称 。 


(2) 从 外 部 输入 数据 文件 : 选择 Sources 模块 库 下 的 From File 模块 ， 定 义 数 据 文 件 的 名 称 ， 
注意 数据 文件 格式 必须 是 ,mat 文件 ， 如 果 不 是 ， 那 么 用 户 可 将 输入 数据 文件 保存 为 .txt 文件 ， 
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然后 加 载 到 工作 空间 ， 最 后 使 用 save 命令 保存 这 个 工作 空间 的 数据 变量 。 同 时 .mat 文件 中 必须 
包含 时 间 数 据 ， 和 朱 则 仿真 出 错 。 

(3) 从 From 痢 口 中 输入 数据 : 选择 信号 与 系统 模块 库 的 From 端口 ， 选 择 数 据 的 来 源 端 口 
和 名称 ， 即 Goto 模块 中 端口 的 定义 。 

(4) 从 数据 内 存 中 读 入 数据 : 选择 信号 与 系统 模块 库 中 的 Data Store Read 模块 ， 定 义 内 存 
数据 的 名 称 。 

2 ) 数据 的 输出 

(1) 将 效 据 和 输出 到 工作 空间 : 选择 Sinks 模块 库 下 的 To Workspace 模 据 ， 需 要 定义 仿真 输 
出 数据 的 文件 名 。 

(2) 将 数据 输出 到 数据 文件 : 选择 Sinks 模块 库 下 的 To File 模块 ， 需 要 定义 输出 数据 文件 
上 时 名 称 。 

(3) 将 数据 输出 到 Goto 痊 口 : 选择 信和 号 与 系统 模块 库 的 Goto 端口 。 

(4) 将 数字 与 人 数据 内 存单 元 : 选择 信号 与 系统 模块 库 中 的 Data Store Write 模块 ， 同 时 必 
纳 选 拌 Data Store Memeory 模块 以 提供 数据 保存 的 内 存 。 

二 面 捉 供 的 4 组 数据 输入 输出 方法 中 ， 前 3 组 方法 可 以 独立 使 用 ， 但 是 后 - :种 方法 ， 必 须 
丘 一 对应， 芭 有 相应 的 From 请 口 ， 束 必须 存 存 Goto 妆 口 与 之 相对 应 ， 特 则 无 法 找 旬 数据 源 。 


8.5 _ Simulink 的 命令 行 仿真 技术 


在 前 男 所 有 小 贡 中 ， 系 统 模型 的 建立 、 仿 真 和 分 析 都 是 基于 Simulink 可 视 化 图 形 界面 窗口 
上 进行 的 ， 由 于 Simulink 平台 建立 了 丰 曙 的 Simulink 模块 库 和 其 他 系统 模块 库 ， 在 Simulink 
Library Browser 窗口 下 简单 地 邱 动 模块 ， 进 行 模 块 连 线 、 模 块 属性 设置 等 ， 就 可 以 进行 动态 系 
统 [ 的 仿真 。 

这 利 图 形 化 的 操作 界面 确实 给 仿真 模型 的 建立 分 析 市 来 了 极 大 便利 ， 但 在 -- 些 特殊 场合 
人 下， 还 调 要 进行 Simulink 命令 行 仿真 撤 术 ， 辑 使 用 MATLAB 命令 行 对 模型 进行 仿真 。 比 如 用 
户 需 上 归 对 模型 中 的 参数 进行 动态 的 改 东 ， 或 者 责 要 对 模型 进行 多 次 重复 的 仿真 ， 并 且 记 录 每 次 
仿 趴 的 结束 ， 以 便 后 续 的 分 机 。 如 末 此 时 用 户 每 修改 一 次 参数 ， 然 后 进行 仿真 ， 那 么 势必 耗费 
大 量 的 时 间 和 精力 守 在 电脑 前 。Simulink 命令 行 仿 真 扩 术 为 这 些 特殊 要 求 提 供 了 解决 的 方案 ， 
通过 命令 行 仿 员 ， 可 以 实现 动态 改变 模型 参数 ， 进 行 多 次 模型 的 重复 仿真 和 数据 分 析 等 。 


8.$.1 ”命令 行 创 建 Simulink 仿真 模型 


从 广义 鞋 说 ， 凡 是 涉及 命令 行 调 用 实现 Simulink 仿真 的 MATLAB 命令 ， 都 可 以 称 为 是 命 


令 行 Simulink 仿真 。MATLAB 提供 了 丰 寅 的 命令 与 Simulink 工具 箱 进行 接口 ， 方 便 进 行 命令 
行 创 建 和 Simulink 模型 仿真 。 在 介绍 Simulink 命令 仿真 技术 之 前 ， 阅 读 下 面 一 段 程序 


多 创建 模型 ， 并 设置 参数 ， 进 行 仿真 

new_system( command_slm_denaoz2 ) 

open_system(t command_slim_demo2) 

add_blockCbullt-Iin/step ,comimand_sim_demo2/step ) 
add_block(Csimubnk/ConbnuousAIransfer Fcn command_slim_demo2/2-order System ) 
add_blockCbullt-in/scope ,comimand_sim_demao2/scope ) 

add_jinel coImmand_slm_demo2 , step/1 ,2-order SysStenmvy 1 ) 


第 8 重 Simulink 


add_line(Ccommand _ slm_demo2 ,2-order Systemna/ 1 ,scope/ ,autorouting , on ) 

Save_Ssystem(Ccommand_sim_ demo2 ,command_create_demoz2 ) 

多 议 凌 模块 参数 和 仿 其 参数 

set_param( command_create_demo2/step ,Time,0,Beftore ,0,Atter, 1,9ampleImne ,0 ) 

set_param( command_create_demo2/2-orde System ,Numerator ,[100] , Denominator, [1 141.4 100] 7); 

set_param( command_create_demoz2z/scope ,NuminputPorts , 工 ) 

set_param(command_create_demo2 ,Solver ,ode45 , stopTime , 10 ) 

多 保 人 存 后 进行 仿真 

Save_SysStem 

相信 读者 通过 一 些 困 数 的 命令 和 程序 注释 已 经 明日 了 这 段 程 序 的 功能 。 创 建文 件 名 为 
command sim_ demo2 的 仿真 模型 ， 并 且 将 其 保存 为 command_create_demo2。 然 后 设置 模块 参 
数 和 仿真 参数 ， 该 仿真 模型 包 舍 一 个 阶 跃 信号 源 、 传 输 图 数 模块 和 不 流 耸 模块 ， 阶 跃 信 己 模 块 
设置 险 跃 时 间 为 0, 阶 跃 值 为 1, 传递 永 数 模 块 分 子 多 项 式 为 100, 而 分 母 多 项 式 为 [1 141.4 100]， 
设置 示 波 占 的 输入 靖 口 数目 为 1 个 ， 了 最 后 说 置 错 型 的 仿 中 参数， 及 用 杰 步 长 ode45 算法 ， 仿 其 
结束 时 间 为 10s。 经 过 模块 参数 和 仿真 参数 的 设置 后 ， 傈 仓 仿 中 模型 ， 并 进行 仿真 。 

如 图 8-36 所 示 为 命令 行 建立 的 仿真 模型 ， 而 图 8-37 为 仿真 结 末 。 从 这 个 实例 可 以 看 出 ， 
实际 上 用 命令 来 创建 仿真 模型 是 比较 烦琐 的 事情 ， 对 于 如 图 8-36 所 示 的 向 单 仿真 梗 开 ， 南 要 山 
写 大 量 的 程序 代 码 ， 而 且 需 要 用 户 玖 悉 各 个 模块 所 在 Simulink 的 位 置 。 
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图 8-36 ”命令 行 建 芯 仿真 模型 -37 ”仿真 结果 


虽然 可 以 使 用 Build-in 命令 调用 Simulink 任何 模块 库 中 的 文件 ， 但 是 用 户 还 必须 部 瑟 苔 模 
块 的 名 称 ， 这 对 于 用 户 而 言 ， 要 记 住 每 个 模块 的 名 称 ， 显 然 很 不 现实 ， 而 且 确实 也 没有 这 样 的 
必要 性 。 

通过 图 形 化 的 Simulink 仿真 平台 进行 模块 的 拖 放 和 连 线 、 属 性 设 普 是 比较 方便 实用 的 。 因 
此 在 本 小 节 中 将 不 会 详细 地 介绍 命令 行 创建 模型 的 指令 ， 在 实际 应 用 中 ， 也 不 会 使 用 这 些 指令 
进行 仿真 模型 的 创建 ， 上 面 的 程序 只 是 向 读者 演示 -- 下 如 何 使 用 命令 行 创建 和 仿真 模型 ， 以 便 
读者 建立 命令 行 仿 真 技术 的 基本 概念 。 但 是 set_param 和 get_ param 两 条 命令 在 后 续 命 令 行 仿 芮 
技术 介绍 中 使 用 比较 广泛 ， 因 此 对 于 这 两 条 Simulink 仿真 命令 做 详细 的 介绍 。 

] ) set_param 命令 

set_param 命令 用 来 设置 仿真 模型 的 参数 或 者 仿真 模型 中 具体 模块 的 参数 。 有 具体 的 幸 用 格式 
如 下 。 

% 设 置 仿真 模型 或 者 模块 的 参数 

set_param(obj ,parameterl ,valuel,parameter2 ,value2…) 

% 将 仿真 模型 参数 设置 为 默认 什 


set_param(0, modelparml ,valuel,modelparm2 ,value 过 …) 
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第 一 条 指令 允许 用 户 设 置 仿真 模型 的 属性 ， 包 括 仿真 算法 设置 等 ， 同 时 也 人 允许 用 户 设置 具 
体 仿 真 模 块 的 参数 。 通 过 使 用 geLparam 命令 来 获取 仿真 模块 属性 名 称 和 仿真 算法 属性 名 称 。 

第 二 条 指令 允许 用 户 将 仿真 模型 参数 设置 为 默认 值 ， 即 改变 MATLAB 默认 的 Simulink 仿 
真 参 数 ， 和 在 新 建 仿 真 模型 后 ， 那 么 模型 的 默认 参数 值 就 是 用 户 目 己 设 定 的 Simulink 仿真 参数 。 
为 了 狼 取 仿真 参数 ， 可 以 使 用 simset 傅 令 得 到 仿真 模型 的 仿真 结构 参数 ， 包 括 属 性 名 称 和 人 允许 
的 属性 便 。 


% 设 置 传递 函数 模块 ， 分 子 多 项 式 为 [100]， 分 母 多 项 式 为 [1 141.4 100] 
set_paramtcommand_create_demo2/2-order System ,Numerator,[100] ,Denominator, [1141.4 10017; 
多 设置 仿真 模型 的 仿真 参数 

set_paramcommand_create_demo2 ,Solver ,ode43 ,StopTime' 10) 

% 议 置 仿真 模型 默认 参数 :采用 ode23 算法 ， 初 始 步 长 为 le-3 

set_param(0, solver,ode23 ,InitialStep ,le-37) 

9 改 置 仿真 模型 的 位 置 

Set_param( command_create_demo2/step , Position ,|30 100 110 120]) 

% 侈 章 仿 真 模 英 的 回调 函数 


Set_param( command_create_demo2/step ,OpenFcn ,open_fcn ,CloseFcn ,close_fcn ) 


ER ER 


模块 或 仿真 模型 参数 属性 值 通常 是 字符 串 形 式 ， 从 上 面 的 实例 中 可 以 看 到 Position 属 性 的 | 
属 性 值 是 数组 ， 男 一 个 非 字 符 串 属性 值 的 属性 UserData 同样 是 用 户 自 定义 数据 类 型 。 


2 ) get_paranm 命令 

get_param 命令 可 以 获取 指定 模块 的 属性 值 . 当 前 仿真 模型 的 默认 参数 以 及 仿真 模块 属性 的 
绝 体 ， 即 异世 的 属性 名 称 。 有 其 体 的 调用 格式 如 下 。 

% 获 取 仿 真 模型 参数 和 特定 仿真 模块 参数 属性 值 

get_param( ob , Parameter ) 

狗 获 取 多 个 模块 参数 属性 仁 ， 模 块 路 径 以 由 元 胞 形式 定义 

get_param(foblectj ,parameter ) 

% 返 回 铅 柄 handle 对 象 的 参数 属 忻 值 

get_param(handlje, Parameter ) 

% 获 取 当 前 仿真 模型 或 者 模块 的 默认 属性 值 

get_param(U, parameter ) 

get_param(Cobj ,ObjectParameter) 多 获取 对 象 参 数 的 结构 体 

geL_param(Cobj DialogParameter) 多 获取 仿真 模型 的 参数 名 称 结构 体 


以 上 通过 有 具体 的 命令 形式 和 注释 泪 示 这 些 命 令 的 调用 形式 。 


>> get_param( command_create_demo2 , solver ) 

ans= 

ode435 

>> get_paramt comnmand_create_ demo2/step ,samplelanme ) 

9% 获 取 step 模块 和 scope 模块 的 对 话 框 属 性 名 称 结构 体 

>> param=get_param(f command_create_demo2/step ,command_create_demo2/scope |}， 
DialogParameters ) 

param = 


第 8 章 9%imulink 


卓 x1 struct | 
[Lxl struct|] 


吃 可 以 分 别 使 用 param{f1} 和 param[2} 查 看 step 模块 和 scope 模 顽 的 对 话 框 属性 名 称 
% 奉 看 仿真 模型 中 所 包含 的 模块 类 型 
>> blocks=find_system(gcs, 工 ype' ,block ) 
>> listblks=get_param(blecks,BlokType ) 
jistblks = 
TransferEFcn 
NCcope 
Ntep 
多 获取 step 模块 对 话 框 参 数 
>> get_param( command_create_demo2/step ,DialogParameters ) 
ansg 二 
Time: [1xl struct] 
Before: 上 xl shruct] 
After: [1xl struct] 
SamplelIlime: [1xl struct] 
YectorParamslD: [1xl struct] 
ZeroLross: [1Lx1l struct| 


8.5.2 用 Simulink 命令 行进 行 仿真 


责 一 小 节 衔 单 介 绍 了 使 用 命令 行 创 建 Simulink 仿真 模型 的 过 程 ， 可 以 看 出 对 于 一 个 非常 简 
单 的 Simulink 仿真 模型 ， 如 果 模 块 选择 、 模 块 间 的 连 线 、 模 块 参数 设置 和 仿真 模型 参数 设置 等 
一 系列 的 操作 完全 使 用 命令 行 来 完成 时 ， 编 写 相 应 的 程序 代码 将 非常 烦 瑛 ， 因 此 不 建议 使 用 命 
令 行 来 创建 Simulink 仿真 模型 ， 而 直接 使 用 Simulink 仿真 平台 的 图 形 可 视 化 界面 ,在 Simulink 
Library Browser 窗口 中 进行 模块 的 拖 放 、 连 线 、 属 性 设置 、 仿 真 参数 设置 等 ， 这 样 的 过 程 是 
较 稍 单 实用 的 。 

Simulink 命令 行 仿真 的 优势 在 于 能 够 重复 地 进行 仿真 模型 的 仿真 ， 动 态 地 改变 仿真 模型 和 
模块 的 参数 ， 记 录 多 次 仿真 模型 的 结果 ， 并 进行 数据 分 析 。 本 小 节 将 主要 介绍 一 些 非常 实用 的 
MATLAB 命令 行 模型 动态 仿真 扩 术 。 

在 介绍 相关 的 命令 行 仿真 技术 前 ， 我 们 
通过 一 个 实例 问 谈 者 演示 一 坚 仿真 技巧 ， 仿 
真 模型 采用 如 图 8-36 所 示 的 仿真 模型 。 仿 真 
模型 中 Step 模块 和 State-Space 模块 的 参数 
设置 如 图 8-38 和 图 8-39 所 示 ， 由 于 采用 命 
令 行 进行 仿真 ， 相 关 的 参数 以 变量 形 式 表 
示 ， 可 以 动态 地 改变 仿真 过 程 的 模块 参数 。 
仿真 过 程 需 要 对 每 次 仿真 结果 保存 ， 那 么 需 
要 设 署 示 波 器 的 属性 如 图 3-40 所 示 , 保存 变 一 ~ 
量 名 为 Sim_ _ out， 数据 格式 为 Structure with 图 | 5 有 Step 借 块 的 参数 设置 
time， 这 样 束 可 以 记录 保存 每 次 仿真 过 程 的 仿真 时 间 和 系统 和 输出。 
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冬 8-39 State-Space 模块 的 参数 设 轩 图 8-40 ”示波器 模块 属性 设置 


建立 好 如 图 8-36 所 示 的 仿真 模型 后 ， 需 要 使 用 命令 行 仿真 技术 实现 在 zeta=0.707、 
wn=[4,6,8,10] 时 对 应 的 系统 输出 ， 并 将 它们 同时 团 在 一 个 图 上 ， 比 较 系 统 输出 的 差异 。 


Tstart=0U: 
final value=|: 
Zeta=U. /0U 17， 
wn_ref=1468 10]: 
多 设置 仿真 模型 的 算法 和 终止 时 间 
set_param( command_create_demo2 ,solver ,ode45 ,stopTinae ,4 ); 
和 Set_param(comimand_create_demo2/step ,Time ,0,After ,1 ); 
for 1=] :length(wn_ret) 
WwWn=wn_Tref(y); 
Sim(Ccommand_create_demoz2 ); 
timef li}=Sim_outtime; 儿 保 存 仿真 时 间 
out_value{fl,ij=Sim_out.signals,values; % 保 行 输出 结果 


end 
狗 结 果 对 比 显示 


colorstyje={T- ,kk-,b- ,mm- 睛 
for 1=1:length(ttme) 
plot(tmel1,1j,out_valuellijcolorstyle11 有 ; 
hold on: 
end 
legend(Cwn=4rad/s ,whn=6Orad/s ,wn=8rad/s ,wa=10Orad/s ); 
仿真 结果 如 图 8-41 所 示 。 在 Simulink 仿真 中 ， 仿 
真 模型 可 以 百 接 从 MATLILAB 的 Workspace 中 调 入 仿真 
参数 进行 仿真 。 从 这 个 实例 中 ， 谈 者 可 以 体会 到 : 汉 仿 
页 过程 模型 参数 动态 变化 时 , 利用 命令 仿真 技术 可 以 非 
利 简 单 、 快 捷 地 实现 模型 参数 动态 概 化 、 仿 芮 结 案 的 对 
比分 析 等 。 以 这 样 一 个 实例 的 引入 ， 接 下 来 向 读者 详细 
介绍 - 些 实用 的 Simulink 命令 仿真 技术 。 
在 使 用 命令 行进 行动 态 系统 仿真 中 , 使 用 较为 频繁 
的 几 条 命 今 包括 sim、simset、Ssimget 和 simplot。 下 面 分 别 介 绍 这 几 条 命令 的 含义 和 使 用 方法 。 
1 ) sim 命令 
sim 命令 可 以 对 指定 的 系统 模型 按照 给 定 的 仿 上 参数 和 模型 参数 进行 动态 仿 具 。 命 令 的 调 
用 格式 如 下 。 





图 8-41 “命令 行 仿真 结果 


第 8 章 5%imulink 


上 tx, yj]=Simmnodel tmespan, options, ut); 

[tx, yl1, y2, ,yn =sIm(model, tmespan, optlons, ut); 

函数 输入 输出 参数 说 明 : 以 上 两 条 命令 是 sim 指令 完整 的 调用 模式 ， 在 通常 情况 下 ， 除 了 
model 参数 外 ， 其 他 参数 都 可 以 是 空 集 ， 使 用 系统 模型 的 默认 属性 设置 ， 包 括 系 统 配置 参数 和 
司 型 参数 。Meodel 参数 为 指定 的 仿真 模型 名 称 。 

tmespan 为 仿真 时 间 设 置 选 欧 ， 可 以 有 以 下 几 种 仿真 时 间 设 置 方法 。 

(1) tmespan=tFinal， 设 置 终 目 时间 tFEinal， 起 始 时 间 默 认为 0。 

(2) timespan=[tStart tFinall， 妈 凌 仿 中 模型 的 起 始 时 间 tStart 和 终止 时 间 tPinal。 

(3)tmespan=[tStart OutputTimes tFinal, 设置 仿真 模型 的 起 始 时 间 tsStart 和 终止 时 间 tFinal， 


前 机 种 仿真 模型 的 时 间 设 置 输出 的 时 间 问 量 由 仿真 算法 和 仿真 模型 来 确定 ， 而 第 三 种 时 间 
设置 规定 了 仿真 异型 在 哪些 点 上 进行 仿真 输出 。 

options 选项 包括 了 除 仿真 时 间 外 的 所 有 模型 参数 的 设置 ， 包 括 仿 真 算法 选择 、 步 长 设置 、 
相对 误 和 过 和 绝对 误 状 设置 、 输 入 输出 数据 名 称 和 格 陈 说 置 等 选项 ， 由 simset 进行 设置 。 

ut 为 外 部 变量 的 输入 ， 可 以 是 多 个 外 部 变量 ， 格 式 是 X2 定 阵 ， 第 一 列 对 应 输入 变量 的 
上 时间， 第 一 列 对 应 输入 变量 的 值 。 

得 出 亚 量 包 岳 系统 仿 贡 时 间 辐 量 t、 系 统 仿真 状态 变量 矩阵 x 和 系统 仿真 的 输出 矩阵 y。 

色 采种 所 有 加 认 仿真 参数 和 时 间 仿 其 模型 

>> [t, xX, y|=sitim CCcommand_create_demoz2 ) 

狗 设 置 仿真 终止 时 间 为 4s， 仿 真得 出 时 间 回 量 由 默认 求解 算法 决定 

>> | 上 txX, y|=slIm (command_create_demo2 ,4) 

狗 设 置 仿真 起 始 时 间 08， 终 止 时 间 4s， 时 间 间 陋 为 0.018 

>> [! x, y|=SIm ( command_create_demo2 ,10:0.01:41| ) 

力 设置 仿真 参数 最 大 步 长 lg-3， 数 据 人 保存 名 称 out_value， 数 据 保 存 属 式 struct 

>> Opttons=sSlmget( comimand_create_demo2 ) 

>> Slimset (optons，Maxo9tep ,le-3 ,waveEFEormat ,Structure ,OutputVariables ,ty ”) 

>> |t xX, y|=slim( command_create_demoz2 ,[],options ) 

2 ) simget 命令 

同 set_param 命令 和 get_param 命令 一 样 ,simget 命令 和 simset 命令 分 别 表 示 获 取 模 型 除 仿 
真 时 间 外 的 所 有 其 他 参数 和 设置 模型 的 仿真 参数 。simget 命令 的 丧 用 格式 为 

stmuct=slmget (model]) 

value=slimget (modej, property) 

value=slmget (OptionStructure, Property ) 

第 一 条 指令 获取 仿真 模型 的 仿真 参数 结构 体 ， 不 包含 仿真 时 间 参 数 ; 第 二 条 指令 获取 仿真 
模型 指定 属性 的 属性 值 ; 第 三 条 指令 获取 仿真 模型 结构 选项 中 指定 属性 的 属性 值 。 仿 真 模 型 的 
仿真 参数 续 构 体 可 通过 下 面 隐 指令 获取 。 

options=sSlmget(command_create_demo2 ) 

options 三 

AbsTol: auto 
Debug: of 
Declmation: | 
DstWorkspbace: cuUrrent 
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base、Pparent 
FinalstateName: 
Pixedstep: auto、 
Jnitialstate: | 
inltlalstep: auto、 
MaxOrder: 3 
SaveFormat: Array 
tructureWithnTaime 
MaxDataPoints: 1000 
Maxwtep: auto 
Minwtep: auto 
OutputPoints: all 
Outputv arlabjes: ty 
Refine: 1 
Rellol: 1.0000e-U03 
Solver: ode43 
SrCWorkspace: base 
Trace: 
ZeroCross: on 
SignalLogglng: on 
SignalLogglngName: logsSouUt 
ExtrapolatlonOrder: 4 
NumbperNewtonjteratlonsS: ] 


3 ) Simaset 命令 


在 进行 Simujlink 命令 行 仿真 时 ,根据 用 户 的 不 同 需求 , 设置 相关 的 参数 进行 系统 仿真 simset 


命令 常用 的 调用 格式 如 下 。 


options=simset (Property, value, .. 洲 
options=slmaset (old_opstruct, Property, value，...): 


optlions=sltmset (old_opstruct, new_oOpstructb; 
Slimaset 


从 以 上 4 tr 令 可 以 看 出 ， 人 除了 第 4 条 指令 个 巡回 任何 全 外 ， 其 他 3 条 指令 ,返回 的 均 是 仿 


真 模型 参数 属性 的 结构 体 ， 


% 获 取 当 前 模型 的 仿 其 参数 结构 体 
>> obtions=slmset ( Command_create_demo2 ) 
>> Solver_method=slimget (options，sSQOlver ) 


% 设 置 当前 仿真 参数 算法 为 ode23， 输 出 变量 out_value 的 数据 格式 为 结 构 体 
>> new_options= Slimset (opttons，solvefr ，ode23 ，wavekhormat ，Structure ， WO ty ) 
>> [lt x, yj=sim (command_create_demo2 , [], new_options) 


4) simplot 命令 

simplot 命令 可 以 将 仿真 模型 输出 结果 以 示 波 啥 的 形式 绘制 出 来 。 其 调用 格式 如 下 。 
Simplot (data); 

SImpjot (ttme, data): 


其 中 data 来 自 仿真 模型 的 输出 病 口 ， 数 据 格 式 可 以 为 Array、Struct 或 者 Struct with tme 形 


式 。time 同样 可 以 是 Array 或 者 Struct 形式 。 采 用 如 图 8-36 所 示 的 仿真 模 和 垄 。 如 网 8-42 所 泵 为 


第 8 章 5%imulink 





仿 其 模型 命令 行 仿真 结果 。 
狗 议 置 仿 趴 模型 的 算法 和 终止 时 间 


>> Set_paramt(t comand_create_demo2 ,Solver,ode4S .StopTime',4) 
多 设置 阶 跃 模型 参数 

>> Set_param( comand_create_demo2/step ,Time',0, After,l7); 

>> asSSl8nlnt base , wn ,10); 

>> 3aSS1gDln( base , Zeta ,10); 

>> SIm(comimand_create_ demo2 ,[0:1e-9:4]); 

>> SImplot(tout,yout) 


8.5.3 ”命令 行 仿真 实例 


道 过 前 面 商 节 对 命令 行 仿真 技术 的 详细 介绍 , 我 们 对 命令 进行 仿真 技术 已 有 所 了 解 。 在 这 里 ， 
将 如 图 8-36 所 下 的 仿真 模型 中 的 输入 信号 修改 为 输入 端口 Inl 模块 , 以 便 演示 在 不 同 输入 情况 下 
系统 模型 的 仿真 结果 ， 仿 真 模型 如 图 8-43 所 示 。 利 用 这 样 一 个 简单 模型 ， 将 向 读者 演示 简单 模 
型 从 令 行 仿 趴 、 不 同 仿真 时 间 设 置 、 不 同 模型 参数 的 仿真 ， 以 及 不 同 输入 信号 下 模型 的 仿真 。 

1 阶 跃 输入 情况 下 命令 行 仿真 

当 和 输入 ut 为 外 部 输入 除 跃 信 号 时 ， 系 统 仿真 模型 的 命令 行 仿 真 结 果 如 图 8-44 所 示 。 

asSlgliln( base ,wm ,10); 

asSSlgliin(base , zeta ;0.7); 

options=slmget(Ccommand_create_demo2 )， 

new_options=slImset(optlons, 9olver , ode43 , SaveFormat, Structure ,OutputVariables' ty); 

t=U:U.UU1:4， 

U 二 ones( ,length(t)); 

Ut=[it,u |; 

[tout,x,yout]=slmGcommand_create_demo2 ,[],new_options,utb); 
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和 843 仿 其 蓉 本 图 8-44 ” 阶 跃 输 入 下 一 阶 系统 命令 行 仿真 结果 


2. Import 靖 口 输入 命令 行 仿真 

从 如 图 8-43 所 示 的 仿真 模型 中 可 以 看 出 ， 输 入 采用 Import 模块 ， 那 么 输入 信和 号 可 以 直接 
从 Workspace 中 调和 入， 如 图 8-45S 所 示 。 选 中 “Load from workspace” 区 域 下 的 “Input” 选 项 ， 
可 以 百 接 使 用 [ U 填 阵 或 者 重新 定义 痢 的 输入 变量 名 称 ， 但 是 该 稚 量 的 值 必须 也 是 [ 茹 形式 的 
mn 久 2 的 证 阵 。 

asSSIghnln(base ,wn ,1U); 

asSSIgnIn( base , Zeta ;0U. 17); 

t=U:U.UUU1 :4; 

U=1*ones(]1,length(t)); 

Sm_ln=|[t.u |: 

SimCcomimand_create_demo2 ) 


< /g 


和 


本 


Ta 


Fa 国有 


人 
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站 


色 8-45 | 仿 上 数据 和 输入 

3. 不 同 仿真 时 间 的 命令 行 仿真 

前 面 在 介绍 sim 命令 时 ， 输 入 参数 中 timespan 为 仿真 时 间 设 置 选项 ， 可 以 有 以 下 几 种 仿真 
时 间 让 时 方 法 。 

(1) timespan=tFinal， 设 置 终止 时 间 tEinal， 起 始 时 间 默 认为 0。 

(2) timespan=[tStart tFinallj， 议 置 仿真 模型 的 起 始 时 间 tStart 和 终止 时 间 tFinal。 

(3)timespan=[tStart OutputTimes tEinal], 设置 仿真 模型 的 起 始 时 间 tStart 和 终止 时 间 tEinal 
同时 设置 仿真 过 程 中 输出 的 时 间 向 量 OutputTimes。 在 这 里 将 分 别 利 用 3 种 不 同时 间 对 如 图 8-43 
所 未 的 仿真 模型 进行 命令 行 仿真 。 其 中 示 汲 髓 数据 以 sim_out 杰 量 保存 为 Struct with time 形式 。 
其 MAILAB 代 人 码 如 下 。 

% 模 块 参数 设置 和 模型 输入 端口 设置 

assignin(base , wn ,10); 

asSSsignlin(base , zeta ,0.7); 

t=0:0.0001:10; 

U= irones(] ， ljength(b); 


SIm_In=[t,U |]; 


人 下 时 间 约 元 级， 


区 command cfeate_ demo2: 5 


% 示 波 器 的 结果 以 变量 名 Result 保存 在 工作 窗口 下 ，i=1、2、3、4 
asSlgnln( base ,Strcat( 人 esujlt ,num2str(U),SI_OuUt); 
end 


4. 不 同 输入 信号 下 合 令 行 仿真 
在 很 多 情况 下 ， 用 户 需 要 对 不 同 的 输入 信号 来 测试 系统 啊 应 性 能 情况 ， 那 么 使 用 命令 行 仿 
真 技 术 ， 可 以 不 需要 重复 修改 输入 信号 类 型 ， 而 直接 采用 Import 疹 口 ， 从 Workspace 中 调用 输 
入 信和 号, 从 而 对 系统 进行 仿真 ， 还 是 使 用 如 图 8-43 所 示 的 仿真 模型 在 输入 信和 吕 分 别 是 阶 跃 信号 、 
正弦 信号 、 方 波 信和 号 和 脉冲 信和 号 的 情况 下 进行 仿 黄 模型 的 啊 应 情况 。 其 MAILAB 代 雪 如 下 。 
clear 
% 模 块 参数 设置 和 模型 输入 关 口 设置 
assSlgnin(base , wn ,10); 
asSlgnin( base , Zeta ,U. 7 ); 
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t=0U:U.U0001 :4: 
U1=1*xones(] ,length(tb)); 
u2=Sinft)， 
[u3,.t63]=genslg(Squafe ,1.4.0.001); 
[u4,t4]=genslg(pulse ,1.4.,0.001); 
多 构建 输入 信号 元 胞 结构 体 
ut 二 {[t,uil],lt,u2],[t,u3],[t4,u411}; 
for 1I=]:length(ut) 
多 仿真 时 间 和 仿真 模型 属性 使 用 默认 设置 值 
SImCcommand_create_demo2 ,|],[,utT); 
asSlgnltn( base ,Strcat( 了 Result ,num2str()) Sim_out); 
end 
5， 仿真 模型 模块 参数 动态 变化 命令 行 仿真 
在 实际 局 级 仿真 技术 中 ， 仿 真 模 型 中 一 些 模 块 参 数 动态 变化 ， 要 求 用 户 得 到 仿真 模型 结果 
坠 模块 参数 和 杰 化 的 一 些 规律 。 如 果 用 户 每 修改 一 次 模块 参数 就 仿真 一 次 ， 并 且 保 存 每 次 的 仿真 
纤 ij 末 ， 最 后 综合 所 有 仿真 结果 进行 数据 分 析 ， 在 这 种 情况 下 ， 使 用 命令 行 仿真 参数 可 以 非常 方 
使 地 解决 模块 参数 动态 演化 时 模型 的 仿真 问题 。 其 MATLAB 代码 如 下 。 
t=0U:0.0001:4; 
uU=1ixones(1 ,length(ty); 
WwWn=10， 
Zeta_ref=10.3 0.9 0.707 0.9]; 
狗 设 置 仿真 模型 的 算法 和 终止 时 间 
set_param( command_create_demo2 ,Solver ,ode43 ,StopTime ,4 ); 
for 1=]:length(zeta_ref) 
Zeta=Zzeta_reft(iy》: 
SIm(Ccommand_create_demo2 ,由 ,[tu]): 
狗 保 存 仿真 结 末 和 时 间 
asslgnln(base ,strcat( 人 Result ,num2str(O),Slnm_out); 
end 


8.6 Simulink 应 用 实例 


于 然 Simulink 手 供 了 网 络 输 入 图 数 、 传 输 郧 数 、 权 信 贞 数 等 神经 网 络 的 基本 组 件 ， 但 并 不 
市 归 用 户 人 在 Simulink 中 以 这 些 组 件 来 构造 神经 网 络 模型 (当然 如 果 不 嫌 有 烦 也 可 以 目 己 试 着 建 
一 个 )， 有 而 往往 通过 MATLAB 命令 窗口 或 编制 程序 首先 完成 网 络 的 设计 ， 然 后 通过 gensim 函 
数 生 成 神经 网 络 的 仿真 模块 ， 并 进入 Simulink 系统 进行 仿真 。 

仍 以 溃 6 草 的 例 6-2 中 ElIman 神经 网 络 用 于 峰值 检 疲 为 例 ， 通 过 例 6-2， 我 们 已 经 完成 了 
访问 题 的 网 络 设计 ， 把 该 文件 另存 为 xiu 文件 。 把 存 于 当前 目录 中 ， 然 后 在 命令 窗口 中 加 载 如 
下 文件 。 

>> XlU 

>> Who 


YOUr varlables are: 
A Pq 下 下 1 了 2 Time LTmnel TIme2 1q net P 


-mn 下 Cr 1 


MATLAB 神经 网 络 仿 真 与 应 用 


>>> Det 
net = 
Neural Netweork oplect: 
archltecture: 
numInputs: ] 
numLayers: 2 
blasConneect: |1; 1] 
inputConnect: [1; 90] 
layerConnect: [10; 1 0 
outputConnect: [0 
targetConnect: [0 本 本 


， numOutputs: 1 和 (read-only) 四 人 二 四 和 ee 


numTargets: 1 (read-on) 人 
numInputDelays: 0 read-only) RE 和 站 
DLA 示 ead EN 


Subobject structutes: 二 
inputs: {1X] cell] of Rs 
layers: {2X1cellj of layets 
outpuits: {1X2 celj contaltning 1 output 
targets: {X2celjj contaimnimng 1 target 
biases: {12 关 1 cell}j contalning 2 blasesS 
InputWeights: {2X1cellj containing 1] Input welght 
layerWeights: {2X2 cell} containing 2 layer welghts 


functlons: 
adaptkFcn: tralns 
InitFEcn: inittay 
performEcn: mase 
traltnFcn: traimgdx 


Paramieters: 
adaptbaram: .pasSSesS 
initParam: (none) 
performParam: (Done) 
trainParam: .epochs, .goal, .Ir, .Ir_dec， 
.fr_inc, .max_fail, .max_pert_lnc, .mec， 
Imnin_grad, .Show, .ttme 


welght and blas values: 
IW: {2X1lcell containing 1 Input welght matrix 
LW: 12X2celll containing 2 layer welght matrices 
b: {12 关 j]l ecellj contaimning 2 blas Vectors 


other: 
Userdata: (QSser stutf) 


该 网 络 已 经 经 过 了 训练 和 仿真 ， 仿 真 结果 通过 例 6-2 呈现 出 来 。 从 仿真 结果 上 看 ， 输 出 信 
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亏 和 调制 信号 基本 吻合 ， 基 本 完成 了 调幅 信号 的 峰 信 检 波 。 

现在 的 问题 是 ,在 Simulink 环境 下 如 何 完成 该 网 络 的 动态 仿真 。 基 本 的 方法 是 ， 在 命令 窗 
上 加 载 改 计 好 的 神经 网 络 后 ， 以 gensim 生成 神经 网 络 仿真 模块 ， 出 于 Elman 神经 网 络 内 部 其 
有 让 从 结 元 ， 所 以 只 能 采用 离 敢 采样 。 设 离 艇 采样 时 间 为 0.03s， 在 命令 窗口 输入 下 列 命令 

>> gensimGnetU.U5 ) 
弹出 两 个 窗口 ，: = 个 窗口 是 神经 网 络 仿真 模型 库 〈Library: neural ) 襟 口 ， 如 图 8-46 所 示 ; 另 
一 个 窗口 为 Simulink 系统 模型 创建 窗口 ， 如 图 8-47 所 示 。 

可 以 看 出 ， 在 访 窗 口中 ， 已 经 建立 了 神经 网 络 模块 《Neural Network )， 另 外 ， 还 有 一 个 采 
伞 得 入 (pf 六 和 一 个 示 波 氏 输出 (y{11))， 将 其 存 为 名 为 demo.mdl 的 仿真 文件 。 


图 8-46 ”神经 网 络 仿 真 模 型 库 图 8-47 ”系统 模型 创建 窗口 


双击 Neural Network 模块 , 弹出 “untitled/ fewlpyy 
Neural Network” 和 窗口 ， 如 图 8-48 所 秒 ， 亚 示 ER 
出 网 络 的 详细 结构 。 如 果 用 户 还 起 了 解 更 详 
的 网 络 结构 , 可 以 在 弹出 的 窗口 中 双击 项 要 了 
解 的 模块 ， 如 图 8-49 所 示 第 1 网 络 层 (Layer]) 
的 结构 。 这样 一 直下 去 ， 直 到 出 现 的 窗口 为 必 


性 设置 窗口 为 止 。 氏 8-48 “untitled 人 Neural Networ” 徐 
虽然 在 每 个 弹出 的 窗口 用 户 都 可 以 修改 和 编辑 网 络 结构 及 其 属性， 但 建议 读者 最 好 不 要 这 


样 做 ， 因 为 我 们 建 芯 的 神经 网 络 模块 是 基于 命令 窗口 或 程序 已 经 充 计 好 的 网 络 ， 行 在 这 果 进 行 
惨 改 ， 可 能 导致 网 络 不 能 文 持 其 运行 ， 或 达 不 到 仿真 的 预期 效 订 。 
如 果 不 做 任何 修改 ， 对 其 进行 仿真 ， 则 输出 流 形 如 图 8-50 所 示 。 





图 8-49 “untitled/Neural NetworkLayerl” 徐 日 图 8-S0 ”系统 所 接 仿 下 的 结 床 


可 以 看 出 ， 该 波形 并 不 能 反映 峰值 检 波 的 过 程 , 这 是 因为 输入 剖 量 只 有 一 个 但, 双击 Inputl 
模块 可 以 查看 其 值 为 0.9$。 如 果 要 观察 动态 检 波 过 程 ， 则 需要 对 系统 模型 进行 修改 。 首 和 匈 ， 在 
MATLAB 命令 窗口 输入 Simulink， 打 开 “Simulink Library Browser” 窗 口 ， 然 后 ， 按 照 Simulink 
的 一 般 操 作 方 法 ， 修 改 系 统 模型 ， 修 改 完 后 的 系统 模型 如 图 8-5$1 所 示 。 图 中 ， 信 号 源 SC 为 丧 
制 信 号 ， 频 率 为 lrad/s;， 信和 号 源 c(D 为 载波 信号 ， 频 率 为 20rad/s。AMI(D 为 已 调 疲 信号 ，yY(D 为 
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波 的 输出 信和 号。 示 疲 天 绘 出 了 sS(D、AM(D 和 y() 的 
结 未 与 例 6-2 的 仿 趴 结果 具有 相同 的 效果 

入 以 上 过 程 可 以 看 出 ， 在 Simulink 环境 中 对 神经 网 络 进 行动 态 仿 真 的 步骤 如 下 。 

(1) 在 命令 窗口 或 以 程序 完成 神经 网 络 的 设计 与 训练 ; 

(2) 以 gensim (Cnebst) 图 效 生 成 包括 神经 网 络 模块 在 内 的 动态 仿真 模型 

(3) 以 Simulink 命令 打开 “Simulink Library Browser” 窗 口 ， 根 
照 Simulink 的 - 役 操 作 方 法 ， 修 改 系统 模型 

(4) 以 Simulink 进行 仿真 ， 输 出 动态 仿真 有 末 





形 〈Wave)， 如 狠 8-$2 所 示 。 可 以 








过 到 的 目的 ， 按 
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图 8-51 Elman 神经 网 络 峰 值 检 波 动态 仿真 模型 
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琢 面 己 经 详细 介绍 MAILAB 神经 网 络 工具 箱 中 的 各 种 模型 以 及 创建 这 些 网 络 的 标准 工 
其 箱 图 数 ， 误 “ 自 庆 用 而 言 ， 庆 皖 网 络 谷 任 己 年 获 。 可 秆 如 采用 广 筷 开 有 基 他 更 复杂 的 网 络 杞 
型 ， 这 些 标准 函数 就 不 能 满足 用 户 的 需求 了 ， 此 时 ， 神 经 网 络 工具 箱 提 供 了 了 态 外 一 种 途径 ， 融 
是 用 户 可 以 根据 需要 目 定 义 神 经 网 络 。 


9.1 上 和 目 定 义 神经 网 络 


假设 图 9-1 所 示 网 络 的 输入 问 量 均 为 输入 序列 网 量 
= (Lo0:01120.5]， 囊 三 革 人 2 一 全 二 [一 下 一 下 全 


希望 从 第 2 个 网 络 层 得 到 对 已 、 忆 ,的 延迟 响应 输出 (7 ) ; 从 第 3 个 网 络 层 得 到 目标 序列 响应 
输出 ?2) ， 其 目标 序列 向 量 为 


簿 入门 量 网 络 层 1、2 网 络 层 3 
[| | 








输出 阿 量 
六 ， 


图 9-1 用 户 日 定义 网 络 


由于 神经 网 络 工 具 箱 没 有 提供 创建 议 网 络 的 图 数 , 所 以 需要 目 定 义 网 络 。 下 面 加 以 此 为 例 ， 
介绍 该 用 忆 目 定义 网 络 的 创建 方法 。 
目 定义 网 络 的 第 一 步 就 是 如 何 通 过 定义 网 络 对 象 及 其 子 对 象 属性 创建 网 络 。 


9.1.1 自 定义 神经 网 络 的 创建 
[| 先 以 下 尹 | 命 令 生成 目 定 又 伸 经 了 网络 的 2 构 o 吉 


站 
人 


2 


共 太 汪 7 


>> het=network 加 ， 2 


其 运行 结果 如 下 。 


Neural Network object: 
archltectute: 
numjnputs: 0 


人 
放 
| 
定 1 





证 中 和 人 机 
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numlLayers: 0 
blasConnect': | 
InputConnect: 上 
layerConnect: [ 
outputConnect: [| 


target(Connect: | 
numUutputs: 0 《read-only) 


numTIargets: 0 (read-only) 
numInputDelays:0 (read-onjly ) 
numLayerDelays: 0 (read-only) 


Suboblect structures: 
inputs: 本 ce 有 of inputs 人 OA 





“outputs: { x0 cei containing no outputs 
targets: {1X0 eell) containing no targets 
biases: {0X 1 cell] containing no biases 
_ InputWelghts: 10X0 celdj containing no input 和 
layerWeights: {0x0 cellj containing no jayer weights 


functions: 
adaptFcn: (none) 


InltFcn: (none ) 
pertormEFcn: (none) 

trainFPcn: (none) 

parameters: 

adaptParam: (none ) 
InitParam: (none ) 
perftormParam: (none) 
trainParam: (none ) 


welght and blas values: 
1wW: {0x0Ucelj contalning no Input welght matrices 
LW:{0Ox<0Ocelll containing no layer welght mnatrices 


b: {UX1 cellj contatning no blas vectors 


other 


Userdata: (USer Stutff) 
可 以 看 出 ， 所 有 的 属性 都 为 0 或 空 伪 ， 需 要 根据 需要 量 新 进行 设置 。 对 于 需要 设置 的 属性 ， 
构 属 性 (neural network object architecture )、 子 对 象 结 构 属 性 


主要 有 5 个 万 面 : 网 络 对 象 络 
(subobject Structures: )、 函数 (functions 》、 参 数 (parameters)、 权 值 和 彰 值 (weight and bias values )。 
汉 设 置 或 修改 其 中 的 任何 一 个 属性 值 时 ， 与 乙 相 关 的 属性 都 会 目 动 改变 ， 换 名 话说 ， 并 不 是 所 
有 的 属性 部 需要 设置 。 按 照 这 几 个 方面 ， 邯 察 图 9-1 所 示 的 网 络 。 

1， 网 络 结构 属性 

(1) 右 网 络 有 有 2 个 输入 同 量 ， 则 numInputs=2.。 


(2) 右 网 络 有 3 个 网 络 层 ， 则 numLayers=3。 
(3) 右 网 络 只 有 在 种 1、3 网 络 技 有 国信 加 量 ， 第 2 网 络 层 无 国人 加 量 ， 则 biasConnect= [1 


U ||。 
(4) 两 个 输 入 回 量 与 网 络 后 的 连接 : 第 1、2 网 络 后 


妈 有 来 自 输 入 同 量 忆 的 连接 : 第 2 网 络 
层 还 有 来 自 输 入 向 量 忆 的 连接 , 忆 、 书 与 第 3 网 络 层 均 无 连接 , 故 inputConnect=[1 0; 1 1;0 0]。 
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(5$) 网 络 技 乙 则 的 和 连接: 第 3 个 网 络 层 有 来 和 目 第 1、2 网 络 层 以 及 目 身 的 反馈 连接 ， 除 ! 
之 外 ， 无 其 他 网 络 层 的 连接 ， 故 layerConnect=[000:000:1 11]. 

(6) 输出 向 量 及 其 与 网 络 层 的 连接 :网 络 有 2 个 输出 量 ，y 来 自 第 2 个 网 络 层 ， 六 来 扯 
第 3 个 网 络 层 ， 故 outputConnect=[0 1 1]， 而 numOutputs=2 由 输出 向 量 与 网 络 层 的 连接 关系 让 
动 生 成 ， 不 需要 放置 。 

(7) 目标 同 量 及 其 与 网 络 层 的 连接 : 网 络 唯一 的 一 个 目标 向 量 与 第 3 个 网 络 层 连 接 ， 故 
targetConnect=[00 1]]， 而 numTargets=1， 由 目标 回 量 与 网 络 层 的 连接 关系 目 动 生成 ， 不 希 归 设置 。 

(8) 输入 和 输出 延迟 量 : 在 设置 了 输入 层 和 网 络 层 连接 权 的 延迟 后 〈 见 “2. 子 对 象 结构 属 
性 ”中 的 6) 和 7))， 可 以 目 动 生成 网 络 的 输入 和 输出 延 返 量 ， 所 以 在 此 不 必 议 置 。 

按照 以 上 分 析 ， 六 下 珊 多 令 议 秆 网 络 对 象 纤 9。 


net， numInputs=2; 

net.numlLayers=3; 
met.blasConnect=f1 0 ] ; 
net.InputConnect=!Ll 61 80 9]; 
net.]ayerConnect=[00 0000:1 1 
net.outputConpnect=[b ] 1; 
net.targetConnect=[00 纪 ; 


由 此 得 到 网 络 后 构 属 性 为 


Met 三 
Neural Network object: 
archltecture: 
numlnputs: 2 
nuUumLayers: 3 
biasConnect: [11 0; ] 
InputConnect: [10; 1 1 00] 
layerConnect [000;0UU0 1 
outpbputConnect: [0 ] 
targetConnect: [00 1 
numOutputs: 2 (read-only ) 
numTargets: 1 (read-onjiy ) 
numInputbDelays:0 (read-only) 
numLayerbDelays:U0 (read-only) 


和 利生 电 时 忆 


2 子 对 象 结构 属性 
子 对 象 结构 在 设置 了 网 络 结构 属性 后 会 目 动 生成 。 


net = 
Neural Network oblject: 
subobject structures: 
inputs: {2X1eceli of Inputs 
layers: {13X]T ce of layers 
outputs: {1x3 celj containing 2 outputs 
targets: {1X3 cellj contalining 1 target 
biases: {3x1l cell} contalning 2 blases 


册 区 
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InputWelgbts: 13 关 2 cell}j containing 3 input welghts 
layerWelghts: 13 久 3 celjl contalining 3 layer welghts 


但 其 属性 便 需 要 根据 目 定 义 网 络 进行 修改 或 重新 设置 。 

| ) 输入 向 量 

P, 有 2 个 输入 元 素 ， 其 取 值 范围 为 0-2， 书 有 5 个 输入 元 素 ， 其 取 值 范围 为 -2-2， 只 带 设 
背 得 入 问 量 的 取 介 范围 ， 即 

net.inputs{1]}.range=[0 2:0 2] 

net.Inputs{t2j.range=[-22;-22;-2 2;-2 2;-2 7 


答 入 问 量 网 size 属性 会 目 动 设置 。 输 入 上 面 的 设置 后 ， 册 输入 net.inputs{1]}，net.inputs{2]} 得 到 


>> Pet.Inputs1 ] | 
ns 一 
range: [2X2 double] 
S17Ze: 2 
Userdata: [1 久 1 struact] 
>> het.inputs{2 过 | 
angs 三 
range: [5X2 double] 
S1Ze: 9 
USerdata: | 1x1l struct| 


2) 网 络 后 
网 络 层 在 设置 了 网 络 结构 和 子 对 象 结构 属性 后 会 自动 生成 ， 例 如 对 第 1 个 网 络 层 而 言 ， 有 


>> net.layers{l} 
ansg 一 
dimenslons: ] 
distanceFcn: 
distancesS: | ] 
InltFcn: Initwb 
netinputkcn: netsum 
posltlions: 0 
S1Zze: ] 
topologyEFcn: hextop 
transferFcn: purelin. 
userdata: [1 关 1 struct| 


可 以 看 出 ， 其 属性 信 需 要 根据 目 定 义 网 络 进行 修改 或 重新 设置 。 第 1 层 有 4 个 神经 元 ; 第 2? 
层 有 3 个 神经 元 ;而 第 3 层 的 神经 元 由 其 输出 向 量 决 定 ， 只 有 1 个 神经 元 。 故 只 需 设 置 第 1、2 
层 的 神经 元 数 ，net.layers{1}.size=4，net.layers{2}.size=3， 选 择 initFcn='initnw';， 第 1 层 的 传输 
细 数 为 transferFcn='tansig'， 第 2 层 的 传输 图 数 为 transferFcn='logsig'。 输 入 以 下 命令 进行 网 络 层 
妈 首 。 

net.ljayers{ 工 |.S1Ze=4: 

net.jayers{ ] } .InltFcn= inlitnw ; 

net.jayers{ .transferFcn= tansig ; 

net.ljayers{12].SiZze=3; 
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net.ljayers{121.InitFhcn= lnltnw ; 
net.]ayers{2j transferFcn= logslg ; 
net.]ayers{13}.InlitFcn= Inlitnwv 
由 此 得 到 如 下 各 网 络 层 的 属性 。 
>> net.layerst |} 
ans 二 
dimenslons: 4 
distanceFcn: 
distances: [ | 
inltFhcn: Inlitnw 
netInputFcn: netsum 
posttions: |[U 1 2 3] 

S1Ze: 4 
topologyFcn: hextop 
transferFcn: tanslg 

UsSerdata: [1X 关 1] struct| 
>> net.layefrs{2| 
ans 二 
dimenslions: 3 
distanceFcn: 
distances: | | 
InitFEcn: Inltnw 
netjnputFhcn: netsum 
posltions: [0 1 2] 

Si17e: 了 3 
topologyFcn: hextop 
transferFcn: ljogslg 

Userdata: | 头 1structj 
>> net.]ayers{t3| 
an8 = 
dimenslons: ] 
distanceFcn: 
distances: 「 ] 
InltFcn: Inlitnw 
netInputkcn: netsSum 
posltions: 0 

Slze: ] 
topologykFcn: hextop 
transferPcn: purelin 

Userdata: {1 X1 struct] 


3 ) 输出 向 量 
在 定义 网 络 结构 时 目 动 生成 输出 问 量 属性 如 下 。 
>> net.outputs{ ] | 


TS 一 


[ 


>> net.outputs{ 二 | 


ans 一 
S1Ze: 3 


Userdata: [1 六 1 struct| 


>> net.outputs{3| 
ans 一 
Sl1Ze: 1] 


Userdata: | 久 ]1 struct| 


4) 目标 向 量 
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在 定义 网 络 结构 时 自动 生成 的 目标 向 量 属性 如 下 。 


>> net.targets{ 
ans 一 

| 
>> net.targets{ 过 |} 
ans 三 

| 
>> net.targets{3 | 
ans 盖 

S1Ze: ] 


Userdata: [1X] strucf] 


S) 内 值 向 量 


在 定义 网 络 结构 时 目 动 生成 的 国 值 问 草 属性 如 下 。 


>> net.bliases{ ] | 
ans 一 
inlitkcn:” 
learn: 1 
learnEPcn: 
learnParam: 
S1Ze: 4 


USserdata: [1 六 1 struct] 


>> net.blases{2} 


ans 二 
| 
>> net.blases{13】 
2anS = 
Inlithcn: 
jearn: 1 
learnFcn: 
jearnParam: 
Slz7e: ] 


Userdata: [区 1 struct| 


6 ) 输入 权 值 向 量 


在 定义 网 络 结构 时 昌 动 生成 输入 权 值 回 量 属性 如 下 。 


>> net.inputWelghts{ 1 ,1 | 
anS 三 
dejays: 0 
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InltPcn: 
jearmn: ] 
jearmFcn: 
learnParam: 
SlZe: [4 2] 
userdata: [1 广 1 struct] 
welghthcn: dotprod 
>> net.InputWelpghts{1,2|} 
3ans = 
[ 
>> net.InpDutWelghts{(2,] |] 
ans 三 
delavys: 0 
inltFhcn: 
jearmn: ] 
jearmnFcn: 
jearnParam: 
Slze: [3 2] 
Userdata: |1 久 1 struct | 
welghtFcn: dotprod 
>> net.InputWelghts{2,2 | 
ans 一 
dejays: 
inltbhcn: 
jearn: ] 
jearnFcn: 
learnParaml: 
size: [3 $] 
Userdata: [ 工 x 1 struct| 
welghtbFcn: dotprod 
>> net.InputWelghts{13,11 


am 一 

[ 
>> het.InputWelghts{3,2| 
ang 二 

[ 


根据 图 9-1 所 未 ,第 1.2 网 络 层 与 输入 回 量 的 连接 权 有 延 返 ,netinputWeights{2,1}. delays=[0 
1]，net.inputWeights{2,2}.delays=1， 第 3 网 络 层 与 自身 输出 的 连接 权 也 有 延迟 ，netlayerWeights 
{3,3}.delays=1。 输 入 下 列 命 令 重 新 设置 。 

net.InputWelghts{t2,11.delays=|b 1 

net.InputYelghbtst2.1 1 .delays=| 
从 结果 可 以 看 出 ， 除 了 设置 的 延迟 外 ， 网 络 结构 中 的 numInputDelays 的 值 由 0 变 成 了 1。 

7) 网 络 技 权 值 向 量 

在 定义 网 络 结构 时 目 动 生成 的 网 络 技 权 信 网 量 属 性 如 下 。 

>> net.layerW elghts{1 ,1 |】 
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ans 三 
[ 
>> net.]ayerWelghts{]1,2|} 
ansg 三 
上 
>> net.]ayerWelpghbts{t 1 ,3| 
ans = 
[ 
>> net.]ayerWelghts{2,] | 
ans 二 
[ 
>> net.jayerWelghts{2, | 
as 一 
| 
>> net.layerWeilghts{2,3】} 
ans 三 
上 
>> hnet.]ayerWelghts{3,]} 
ans 二 
dejays: 
inltEcn: 
lear: ] 
learnFcn: 
learnParanmn: 
S12ze: [1 4| 
Userdata: [1 上 struct| 
welghtFcn: dotprod 
>> net.ljayerYWelghts{3,2 | 
anS = 
delays: 0 
InltkFcn: 
learn: ] 
learnEFcn: 
jearnParam: 
SlzZe: |1 3 
Userdata: [1X1 struct| 
welghtFcn: dotprod 
>> net.]ayerWelghts{13,3】 
ans 一 
dejays: 0 
inlitFhcn: 
ljearn: | 
learnEcn: 
]earnPararm: 
Slze: [1 1 
Userdata: [1 关 ]struct] 
welghthcn: dotprod 


第 9 章 自 定义 神经 网 络 


根据 图 9-1 所 丰 ,第 3 网 络 层 与 目 身 输出 的 连接 权 也 有 延迟 ,netlayerWeights{3,3}. delays=1。 
输入 下 列 命 令 重 新 设置 。 

net.layerVWeights{13,3}.delays=1; 
从 伪 朱 可 以 看 出 ， 除 了 议 症 的 延 反 外， 网 络 结构 中 的 numLayerDelays 的 值 由 0 变 成 了 1。 

3 阴 效 属性 

以 下 列 命 令 妈 和 图 数 属性 。 

net.InitFcn= Inltjlay ; 

net.performFcn= mase ; 


nettrainFEcn='trainlm 


情 入 net， 观 察 鸭 数 属 性 母 为 


禾 弟 量 量 昌 兴 


functions: 
adaptFcn: (none) 
InlitFcn: linltjay 
performFEcn: "mase' 
tralnFhcn: tralnlm 


过 昌 昌 当面 学 


4 人参 效 属性 
汉 确 定 了 困 数 属性 后 ， 图 数 的 参数 属性 以 各 国 数 的 答 认 全 目 动 生成 。 输 入 net， 观 察 函 数 属 
Parameters: 


adaptParam: (none) 
InlitParatm: (none ) 
pertormParam: (none ) 
trainParam: .epochs, .go0 纪 , ,max_fall, .mem_reduc， 
.InIn_erad, .mu, .mu_dec, .mu_linc， 
mu_imnax, .Show, .ttme 


5. 权 值 和 辣 值 属性 
当 网 络 结构 属性 和 和子 对 象 属性 硝 定 下 来 以 后 ， 了 网络 权 信 和 靖 信 的 结 构 吕 确定 了 。 


>> net.Iw 
ans 二 
[4X2 double] [ 
[3 久 2 doubje] [3 关 9 double| 
[ | 


>> net.jw 
an 二 
[ [ [ 
[ [ [ 
[1 关 4 doublje|] [1 区 3 double] [O] 
>> net.b 


虽 ilu 一 
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[4 关 ] doupje|] 


[ 
| U] 


由 于 网 络 还 未 进行 初始 化 ， 因 此 所 有 权 值 和 效 值 的 基体 数据 全 为 0。 
全 此 ， 完 成 了 对 图 9-1 所 示 网 络 的 创建 工作 ， 键 入 net， 可 以 查看 所 定义 的 网 络 相关 属性 。 


> net 
net 二 
Neural Network object: 
archltecture: 
nurrnlnputs: 2 
numLayers: :3 
blasConnect: {11;0:; 1 
InputConnect: [10;11)00] 
jayerConnect: [000000:111 
outputConnect: i0 ] 二 
targetLConnect': [00 二 
numGutputs: 2 (reaqd-only) 
numTargets: ] (read-only) 
numjinputDejays: 上 (read-onjly) 
numlLayerDelays: 1 (read-onjy) 
Subobject structures: 
inputs: 1t2X1celllj of inputs 
layers: 13X 1 celj of layers 
outputs: {1 关 3 celj contalning 2 outputs 
targets: {1X3 cell containing ] target 
plases: {13X 1 celll containing 2 bliases 
InputWelghts: 13 久 2 cellj containing 3 Input welghts 
ljayerWelghts: 13X3 cellj contalning 3 layer welghts 
functlons: 
adaptkhcn: (none) 
InitFcn: Inltlay、 
performFcn: nase 
trainFcn: tralnlm 
paraIneters: 
adaptParam: (none) 
InitParam: (none ) 
pertormParanm: (none) 
tralnParam: .epochs, .goal, .max_fail, .metm_reduc， 
.Iain_grad, mu, ,mu dec, .mu_inc， 
.InU_Imax， .Show, .tme 
welght and blas vajlues: 
1IW: 13X2 celj containing 3 Input welght matrices 
LWw:1{13xXa3celll containing 3 layer welght matrices 
b: {3 关 1 cellj containing 2 blas vectors 
other: 
Userdata: (USer stuff) 


ai 
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9.1.2 自 定义 神经 网 络 的 初始 化 、 训 练 污 仿真 

1. 自 定义 神经 网 络 的 初始 化 

白 定义 网 络 可 以 调用 init 函数 ， 以 定义 的 权 值 和 阔 值 初始 化 函数 对 网 络 的 权 值 和 效 值 进行 
人 急 始 化 。 

>> net=linlit(met)， 


初始 化 后 的 权 值 和 阔 值 已 经 不 再 全 部 为 0， 其 绪 未 为 


>> net.lWw 
ans 一 
[4X2 double| [ 
[3X2 double| [3x9 doubjle| 
[ [ 
>> net.lw11L ,1 | 
ans 二 


-2.3908 1 .4373 
2.2937 -1.6039 
1] .99834 1.9011 
-2.80U00 U.0104 
>> net.lIw{12, |} 
ans 二 
0.4189 -0U.020 7/ 
-0.1422 -0.0131 
-0.3908 U.3044 
>> net.Iw1{2,2| 
ansg 三 
-0.39435 U.3958 U.7073 U.79995 0.6359 
0.0833 -0.2433 0U.187] 0U.0433 0U.3205 
-0U.09823 0.7200 -0.0U069 0.2898 -0.3161 
>> net.lw 
ans 二 
[ | [ 
[ 上 [ 
[1x4 double | [1L 关 3 double| [-0.2392 | 
>> net.jw{13,1 |】 
amis 二 
-0.4203 -0.3176 0.0082 0U.43242 
>> net.jw{3,2} 
ans 一 
-0.3814 0.6770 0.1361 
>> net.jw13,3} 
ans 三 
-0.2392 
>> net.b 
amns = 
[4x1l double |] 
| 


0 
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[ “0.4055] 
>> net.b11] |} 
His 一 
3.7333 
-1.6211 
-3.02063 
-0.0164 
>> net.b{2} 
ans= 
四 
>> net.b{3] 
.QIS 一 
0.4055 JU 
2， 自 定义 神经 网 络 的 训练 
自 定义 网 络 可 以 调用 train 函数 ， 以 定义 的 网 络 训练 图 数 对 网 络 进行 训练 ， 由 于 第 3 个 网 络 
层 定 义 了 目标 网 量 ， 所 以 训练 前 必须 定义 输入 同 量 和 目标 回 量 。 


P={[L0;0] [2;0.5];[2;-2;1;0; JJ 1 -1 0 ;二 ] } 
工 ={1 -1 
net=train(netP,T) 


圳 练 结 琵 为 
TRAINLM, Epoch 0/100, MSE 0.498415/0, Gradient 2.50773/1e-010 


TRAINLM Epoch 3/100， MSE 6. 40949e-031/0, Gradient 2 9101e-01S/ le-010 
TRAINLM, Minimum _ gradient reached, performance goal was not met 


训练 的 误差 性 能 曲线 如 多 9-2 所 不 。 


Performance is 6.40949e-031. Goal is 
10 


-2 


Training-Blue 


2 3 信 9 


1 
站 全 CE 
图 9-2 ”训练 误差 性 能 曲线 


3， 目 定义 神经 网 络 的 仿真 
目 定 义 网 络 可 以 调用 sim 函数 对 网 络 进行 仿真 ， 者 以 训练 样本 进行 仿真 ， 总 


P={[0;0] [2;0.5];[2;-2;1;0 FI-110 1]}; 
y=simanetP) 


仿真 结果 为 
>> yY=Simi(net, 了 ) 


[3X1double] [3X1 doublel 
[ 1.0000] [ :1.0000] 
>> yT11, 1 
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ans 二 
0.4200 
0.7727 
0.0400 

>> yl1 ,2} 

amns 二 
0.7931 
0.0491 
0.4108 


脂 工 个 网 络 竹 出 为 y{1L1} 和 y{12}， 第 2 个 网 络 输 出 《第 3 个 网 络 层 的 输出 ) 如 下 。 
>> YL={y{t2<yt2< 


y< = 
[1.0000] [-1.0000] 


可 以 看 出 ， 与 目标 向 量 是 一 致 的 。 
9.2 ” 自 定 义 函 数 


伸 经 网 络 工 具 箱 允许 创建 并 应 用 很 多 种 类 的 函数 ， 用 户 可 以 根据 需要 ， 在 初始 化 、 仿 真 及 
训练 中 应 用 多 种 方法 ， 实 现 对 网 络 的 目 行 调整 。 这 些 上 自行 编制 的 永 数 称 为 自 定 义 函 数 。 

本 区 介绍 如 何 创 建 目 定义 图 数 ， 这 些 图 数 主 要 用 来 进行 神经 网 络 的 初始 化 、 学 习 、 训 练 和 
仿 其 ， 可 以 大 致 分 为 四 类 。 

1 ) 初始 化 函 数 

@ 网 络 急 始 化 图 数 

@ 层 切 始 化 图 数 

@ 权 人 和 国信 初始 化 图 数 

2 ) 学 习 通 数 
@@ 网 络 训练 函 数 
@ 网 络 目 适应 函数 
@ 了 网络 性 能 函数 
@ 权 什 和 浆 值 学 习 困 数 
3 ) 仿真 函 数 
@@ 传递 冰 数 
@ 传递 裔 数 导 函数 
@ 网 络 输入 函数 
湖 
学 
性 
4 
类 
淄 





网 络 输入 图 数 导 阔 数 
权 值 数 
权 值 导 函 数 

) 自 组 织 映 射 函 数 
拓扑 画 数 
距离 国 数 
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9.2.1 初始 化 国 数 


初始 化 函数 包 括 网 络 、 层 、 权 值 和 闪 值 三 燃 初 始 化 图 数 ， 下 面 分 询 介 绍 如 何 目 定义 生成 
一 种 函数 。 
1. 网 络 初始 化 函数 
网 络 初始 化 函数 将 所 有 的 权 值 和 冰 值 设置 为 一 个 适当 的 值 ， 作 为 网 络 训练 或 者 目 运 应 调 
的 初始 点 。 一 有 旦 定义 了 网 络 初始 化 困 数 ， 就 可 以 对 入 到 某 一 网 络 中 。 假 设 定义 网 络 初 始 化 基数 
为 xiu 0) ， 并 骨 入 某 一 网 络 中 ， 则 应 用 下 面 语句 实现 。 
net.InlitFcn= XIU 
这 样 ， 在 调用 init O 初始 化 网 络 时 ， 都 可 以 应 用 此 时 放 定 的 网 络 急 始 化 函数 进行 切 始 化 。 
net=lInlt (netb) 
网 络 初 始 化 函数 编制 完成 后 ， 接 受 某 一 网 络 ， 并 且 在 初始 化 处 理 以 后 ， 册 返回 一 个 网 络 。 
net=Xlu (net, 1) 


自 定 义 网 络 初始 化 函数 可 以 根据 要 求 对 权 值 和 阅 值 进行 任意 议 置 。 

2 层 初 始 化 函数 

层 初 始 化 函数 将 某 层 所 有 的 权 值 和 冰 值 设置 为 一 个 适当 的 值 ， 作 为 网 络 训练 或 者 目 适 应 调 
节 的 初始 点 。 一 旦 定义 了 层 初 始 化 函数 ， 就 可 以 能 入 到 网 络 任意 一 层 上 。 假 设 定义 的 层 初 始 化 
鲜 数 为 xiu (0) ， 并 壬 入 网 络 第 3 层 上 ， 则 应 用 下 面 语 名 实现 。 


net.layers{31.InitFcn= Xlu 
如 果 网 络 初 始 化 函数 (netinitFcn) 设置 为 工具 箱 尔 数 initlay () ， 目 定义 层 初 始 化 图 数 用 来 
对 层 进 行 初 始 。 那 么 在 调用 initg 初始 化 网 络 时 ， 孝 可 以 应 用 此 时 设 定 的 层 初 始 化 图 数 进行 初 
输 化 。 


net=lnlt (Pet) 


层 初始 化 函数 编制 完成 后 ， 接 受 网 络 和 层 的 标 作 为 输入 忆 并 且 在 对 第 守 层 急 始 化 处 理 以 
后 ， 骨 返回 网 络 。 
net=Xxliu (net, 1) 
目 定 义 层 初始 化 图 数 可 以 根据 要 求 对 层 的 权 值 和 交 介 进行 任意 放 具 。 
3. 权 值 和 装 值 初始 化 函数 
权 值 和 浆 值 初始 化 函数 将 所 有 的 权 值 和 浆 值 设置 为 一 个 适当 的 什 ， 作 为 网 络 如 练 或 者 目 运 
应 调节 的 初始 点 。 一 旦 定义 了 权 值 和 冰 值 初始 化 函数 ， 就 可 以 代 入 到 网 络 任意 权 伍 和 交 伍 上。 
假设 定义 了 权 值 科 值 初始 化 函数 为 xumGO ， 并 骨 入 网 络 第 2 层 的 国 值 、 第 1 层 输 入 到 第 2 层 
的 权 值 上 ， 则 应 用 下 面 的 语句 实现 
net=lnlt (net) 
权 值 和 值 初始 化 函数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
W=rands (5 PR) 
b=rands (9 ) 
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其 中 ，S 为 层 神 经 元 数目 ，PR 为 R 个 输入 向 量 的 最 大 /最 小 值 矩 阵 。 

神经 网 络 工 具 箱 中 包含 一 个 目 定 义 权 值 和 加 值 初始 化 函数 mywbif ,输入 help myxiu 殉 可 
以 获得 有 关 此 函 数 的 帮助 信息 。 举 例 说 明 如 何 应 用 myxiu 进行 权 值 和 国 值 的 家 始 化 。 

【 例 9-1 】 

w=mywbif(4,[0 2;-2 31) 

b=mywblt(4,[1 了 |) 


WA 一 


U.017 3 
0.0980 
0.U271] 
0.0232 


0.0870 
0.U737 
0.0137 
0U.UU012 


0.0894 
0.0199 
0.0299 
0.U00 1] 


得 入 type mywbif， 可 以 查看 mywbif 0 的 产程 序 。 


>> type myYwb 
function w = mywblft(s,PT) 
2oMYWBIF Example custom welght and blas Inlitiallzatlon function. 


5 

9 Use this function as atemplate to write yoOUT Own functilon. 
0 

0 yntaX 

允 

2 W =Tands(w ,了 KR) 

0 S- number of neurons. 

罗 PR -人 Rx2 matrx of R Input ranges. 
[ W - SXR welght matrlIX. 

0 

4%p b = fands(w ) 

(0 S- number of neurons. 

和 b - NSX1 blias vector 

0p 

5% 上 xample 

加 


0 W =Imywblt(4,10 1; -2 2]) 

0 b = mywbif(4,[1 1) 

% Copyright 1997 TIhe MathWworks, Inc. 
9 $Revision': 1.2.2.1 $ 


ifnargin < 1, error(Not enough input arguments ), end 
寺 nargln 三 = 
w =tand(s,1)*0.2; 驳 <-- Replace with your own lnltlal blas vectof 
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else 本 | 本 
工 = SiZe(pr,1); 2 <-- Replace with your own initial weight matrix 
时 本 


可 以 将 男 数 mywbif 0 作为 一 个 模板 ， 用 来 生成 自 定义 的 权 值 和 效 值 初始 化 函数 。 
9.2.2 ”学 习 国 数 


与 网 络 学 习 、 权 值 和 阅 值 调整 有 关系 的 学 习 函 数 有 四 类 : 训练 函数 、 自 适应 函数 、 性 能 孙 
效 、 权 信和 国 值 调整 永 数 ， 下 面 分 别 介绍 如 何 自 定 义 生 成 这 些 函数 。 
1.， 训练 函数 
圳 练 图 数 征 钊 用 的 学 习 畏 数 。 学 习 函 数 循环 地 将 输入 癌 量 应 用 于 网 络 中 ， 每 次 都 能 够 更 新 
网络 ， 直 到 达到 如 练 目 标 位 置 。 训 练 停 止 的 条 件 可 以 是 最 大 学 习 次 数 、 最 小 的 误差 梯度 或 者 训 
练 精 上 度 等 。 一 旦 定义 了 训练 函数 ， 就 可 以 骨 入 到 某 一 网 络 上 。 假 设 定 义 了 训练 函数 为 xiu () ， 
并 和 入 茶 个 网 络 中 ， 则 应 用 下 面 语 名 实现 。 
net.tralnkhcn= XlU 
这 样 ， 训 练 网 络 时 ， 都 可 以 应 用 此 时 设 定 的 训练 函数 。 
[net, trj=tralin (NET PP 工 PP Ai) 
训练 图 数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
[net, trj=xlu (net, Pd, 工 1, Al QQ, TS, VYV 工 V) 
目 定义 训练 函数 需要 提供 如 下 信息 。 
@ version: 神经 网 络 工 具 箱 的 版 本 。 
人 pdefaults: 默认 参数 。 
日 定义 训练 函数 可 以 根据 所 设 定 的 任意 方式 更 新 网 络 的 权 值 和 浆 值 。 
2. 自 适 应 函数 
目 适应 轴 数 在 每 个 输入 时 间 段 内 都 要 更 新 网 络 ， 并 进行 仿真 。 一 旦 定义 了 自 适 应 函数 ， 就 
可 以 仙 入 到 未 一 网 络 上 。 假 设 定义 的 目 适 应 函数 为 XiumG ， 并 秽 入 了 某 个 网 络 中 ， 则 应 用 下 面 
语 僻 实现 。 
net.adaptFhcn= xlum ; 
这 样 ， 目 运 应 调节 网 络 时 ， 都 可 以 应 用 此 时 设 定 的 目 适 应 函数 。 
[net， 1 上 ,FE Aif=adapt (NET 已 工 PP, AD 
目 运 应 遇 数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 : 
[net, Ac, 上 上 11]=xum (net Pd， Ti Al Q, 工 >) 
目 定 义 目 适应 函数 需要 提供 如 下 信息 。 
@ version: 神经 网 络 工具 箱 的 乒 本 。 
@  pdefaults: 默认 参数 。 
目 定义 目 适应 函数 可 以 根据 所 设 定 的 任意 方式 更 新 网 络 的 权 值 和 国 值 。 
3 性 能 函数 
性 能 函数 是 尝 习 训练 时 期 望 达 到 最 优 的 指标 ， 通 过 改变 权 信 和 病 值 使 性 能 函数 最 优 ， 改 善 
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网 络 性 能 。 一 旦 定义 了 性 能 函数 ， 岗 可 以 和 代 入 到 茶 一 网 络 一 。 假 议 定义 性 能 图 数 为 xuwW， 并 


通 入 东 个 网 络 中 ， 则 应 用 下 面 语 句 实 现 。 
net.performFcn= XIuw 
这 样 ， 训 练 或 者 自 适 应 调节 网 络 时 ， 都 可 以 应 用 此 时 设 定 的 性 能 函数 进行 优化 。 
[net, trj]=traln (NET P 工 Pl, Ai) 
[net YY 上 ,，Pf, Afj=adapt (NETL PT PP AD 
性 能 函数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
pert=xluw (上 , 六,，PP) 
其 中 ，E 为 期 望 值 矩 阵 ;，X 为 网 络 权 值 和 贱 值 ，PP 为 网 络 参数 。 


如 果 刁 是 细胞 数组 ， 则 需要 首先 转换 成 矩阵 形式 ， 然 后 再 进行 调用 ，X 和 PP 的 值 通过 网 


络 和 但 到 。 

RE=cellj2mat (下 ); 

perf=xluw (上 ,neft) 

和 二 getxX (net); 

PP=net.performPararmn; 

目 定 义 性 能 数 需要 提供 如 下 信和 肪 。 

@ version: 神经 网 络 工具 箱 的 厂 本 。 

@ deriv: 相关 导数 图 数 名 。 

@ pbpdefaults: 默认 人 参数。 

伸 经 网 络 工 具 箱 中 包含 一 个 目 定 义 性 能 函数 mypfW ， 输 入 help mypf 就 可 以 获得 有 关 此 陋 
数 的 带 助 信 息 。 人 举例 说 明 如 何 应 用 mypf 性 能 函数 ， 随 机 和 输入 网 络 权 值 和 阔 什 ， 并 应 用 网 络 默 
认 参 数 ， 计 算 相 应 的 性 能 函数 值 。 

【 例 9-2 】 

ce=Tand(4.9): 

X=Trand(12,1); 

pp=mypt(pdefaults ) 

perf=mypfte,x,PP) 

答 入 结 未 为 


>> fype mypft 
fonctton perf = yptte， X,pp) 本 
%MYPEF Example custom performance ER 
0 闻 ， 
匈 Usethls function as 8 El to 本 your Own functtion， 


总 本 “和 光合 
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和 Calculation yntax 

06 

(0 perft = mypft( 上 ,xx,PP) 

(和 EE -Matrx or cejl atray of error Vector(s). 

0 和 -Vector of al welght and blas values. 

2 PP - Periormance paranmeter. 

0 

0 perf = mypf(E.net) 

08 

和 JInformatlon wyntax 

和 0 

和 info = mytft(code) returns Useful Information for each CODE string: 
0 verslon - Returns the Neural Network [oolbox verslon (3.0). 

0 deriv' -Returns the name of the associated derivative function. 
和 0 output -了 eturns the output fange. 

00 active'” - Returns the active Input range， 

0 

‰ Example 

0 


e =Trand(4,3): 

090 X 一 Tand(j2.]): 

4 pp = mypft(Cpdefaujts ) 

加 perf = mypf(e:x,PP) 

Copyrlght 15997-2001 Ihe MathWworks, Inc. 

芝 $Revision: 1.4.2.1 9 

ifnargin < 1, error(CNot enough arguments. ); end 


寺 1SSstr(e) 
Switch (e ) 
Case VeTsSlon 
perf = 3.U: 加 <-- Must be 3.U. 
case derlv ， 
perf = mydpt ; % <-- Replace with the name of your derivative function or " 
case namie ， 
perf = (Ustom ; % <-- Replace with your functlon s name 
case pnarmes ， 
perf = 上 上 % <-- Add names of your functon parameters (lf any) 
case pdefaults 
peIf.x= ]; 9 <-- Replace with the your own pertormance 
petf.y = 0.2; 双 <-- paframeter Structure or nujll matnix [ | 
otherwise, error( Unrecognlzed code., ) 
end 
else 


上 1Sa(e, cell ) 
e 二 Cell2mat(e); 
end 
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inargln == 
pp = X.pertormParami oo <-- delete thls line lf you dont use PP 
X 一 getxX(net); 和 <-- dejlete thls line 过 you don't Use 及 
end 


%o :Replace the followling calcujation with your Own 
思 ”Ineasure of performance. 
numErrors = Prod(slze(e)); 
numyelghtsBlases = length(Xy); 
perf = Sum(Sum(abs(e)))* pp.XAnuImErrors 十 .… 
sum(abs(xX))*pp.ynumwWwelgbtsBlases; 
end 
4. 权 值 和 国 什 学习 函数 
权 值 和 浆 值 学 习 国 数 与 某 综 训练 或 者 目 适 应 调节 图 数 一 起 使 用 ， 用 于 学 习 训 练 中 更 新 权 值 
和 国信。 一 旦 定义 了 权 值 和 国信 学 习 男 数 ， 就 可 以 通 入 到 网 络 任意 一 层 上 。 假 设 定义 的 权 值 和 
阔 值 学 习 函 数 为 xiu () ， 并 骨 入 网 络 第 2 层 ， 则 应 用 下 面 语 名 实现 。 


net.layers{2 | .learnFcn= Xiu ; 


这 样 ， 如 果 网 络 训练 郴 数 〈nettrainFcn) 设置 为 trainb、trainc 或 者 trainr， 网 络 自 适应 
调节 图 数 Cnet.adaptFcn) 设置 为 trains， 痢 可 以 应 用 此 时 设 定 的 权 介 和 国 值 尝 习 图 数 更 新 权 
信和 玖 全 。 

[net, tr]=train (NET, P, 工 PL, AD 

[net YY 匡 , P{f,， ATfil=adapt (NET 了, 工 PI， AD 

权 值 和 浆 值 学 习 玫 数 编制 完成 后 ， 可 以 应 用 如 下 的 方式 进行 调用 ， 以 更 新 权 值 和 效 值 。 

[dW, LS]=xiu (W,P,Z, N,A,T,E, gW, gA,D, LP, LS) 

[db, Lsl=xliu (b, ones (1, QQ) LNN, A, 工 上 , gW,，gA,D, LE, Lv ) 

目 定 义 权 值 和 交 值 学 习 函 数 需 归 提 供 如 下 信息 : 

昌 version: 神经 网 络 工具 条 的 版 本 。 

@ deriv: 相关 导数 图 数 名 。 

昌 。 pdefaults:， 默认 参数 。 

神经 网 络 工 具 箱 中 包含 :个 目 定 义 权 信和 靖 全 学 习 国 数 mywbift ()， 输 入 help mywplf 就 可 
以 获得 有 天 此 困 数 的 帮助 信息 。 

>> type Iaywblif 

function [dw,ls] = mywblf(w,p,znatie,gW;,gEA,d.lp,js) 

ooMYWBLFE Example custom welght and blas jearnling function， 


OO 
思 (Lalculatton yntax 


0 [dW,LS] = mywblf(W.P:.ZNA,TE,gW,gADLP,Ln) 

0 [db,LS] = mywbjlf(b,ones(1:Q), ZN,A,TE,gW,gA:DLP,L9) 
2 W -SSXR welght matrIx (Or 9Xl blas vectoT). 

吕 P -RxQinput vectors (Or ones(],())， 

% Z -SSXQwelghted Input vectors. 
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和 0 N -XGOnettnput vectotfs， 

和 A -9xQqQ output vectors. 

加 工 -9XWlayer target vectors. 

多 E -SXQlayer error vectors， 

OO gW -SSXRgradient with respect to performance. 

和 0 gA -bx 人 QQ output gradlent with respect to performance， 

0 卫 -SXSneuron distances， 

LP - Learning parameters, none， LP = 吕 . 

(0 Ls - Learming state, Inittaly shoujd be = |[. 

dW -SXR weight (or bias) change matrix. 

病 二 

多 “JInformation yntax 

O 

9 info = mywblf(code) returns useful information for each CODPDE strng: 
和 version' -Returns the Neural Network Toolbox version (3.0)， 
思 pdefaults' - Returns the name of the associated derivative function. 
和 0 needg -Returns the output range. 

0 

上 xample 

轴 


0 W =rand(4.3); 
和 gW =rand(4.3); 
名 ljp = mywbjif(Cpdefaujlts ) 
0 [dW,ls] = mywpltw 癌 日 日 日 Usgw JP,U 
名 W =W +dW: 
5 gW = Tand(4,3>); 
% [dW,ls1 = mywblifgw, 口 , 口 口 品 , 口 ,UgWw, 口 口 ,ip,s); 
5 W =W+dW: 
% Copyright 1997 The MathWofrks, Inc. 
O $Revision: 1.3.2.1$ 
这 1SStr(Cw ) 
Switch jower(w ) 
case VerISslon 
dw=3.0; 吕 <-- Must be 3.0U， 


case 'pdefaults' 


dwr =0.01; ， 狗 <--Replace with your own learning 
和 2 parameters or the null matrix 0 

case meedg' 加 了 _ 

dw=l: 和 <-1or0 depending On whether your 

| 0 SR USeS gW Or SA， Or not 

otherw1lse 

errorCUnrecognized 人 站 
end 

else 


if JSempty(ls) 
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ls.xX = 0.3; % <-- Replace with your own functions initial 
思 jearning state or the null matrix 门 
end 
dw = ]p.Irr*ls.xkgW; ”和 <-- 人 Replace with your own weight change 
0 calculation. 
1s.Xx = 上 -1s.XxX; 加 <-- Replace with your own learning state 
Oo update code, if you have any Such state. 


end 


9.2.3 ”仿真 函数 


目 定义 仿真 函数 包括 传 违 函数 、 网 络 输入 图 数 、 权 值 图 数 。 下 面 分 别 介绍 如 何 创建 这 三 种 
仿真 图 数 及 其 相应 的 导数 函数 。 

1. 传递 函数 

传 饥 男 数 根据 给 定 的 网 络 输入 网 量 〈 或 者 矩阵 ) NW， 计 算 某 层 的 输出 向 量 (或 矩阵 ) 4， 网 
络 得 入 回 量 和 输出 回 量 必须 具有 相同 的 维 数 。 一 旦 定义 了 传递 函数 ， 就 可 以 嵌入 到 网 络 中 任意 
一 层 上 上 上。 假设 定义 了 传递 遇 数 为 xiux( ， 并 奶 入 网 络 第 3 层 上 ， 则 应 用 下 面 语 名 实现。 

net.]ayers{13j.transferFcn=' XIiuX' 
这 样 ， 在 对 网 络 进行 仿真 时 ， 都 可 以 应 用 此 时 设 定 的 传递 函数 。 
[Y, PP, Afl=sim (net, P Pi, AD) 
传递 困 数 顷 制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
A=XlIUX (NN) 

其 中 ，N 为 网 络 输入 问 量 ; A 为 了 须 数 返回 值 ， 即 网 络 输出 向 量 。 

目 定义 传递 国 数 返回 如 下 信息 。 

@ version: 神经 网 络 工具 箱 的 版 本 。 

@ deriv: 相关 导数 函数 名 。 

@@ output， 输 由 范围。 

@ active: 活动 的 输入 泄 围 。 

伸 经 网 络 荆 具 箱 中 包含 了 一 个 目 定 义 传递 图 数 mytftO) ， 输 入 help mytf 就 可 以 获得 有 关 此 
国 数 的 帮助 信息 。 

【 例 9-3】 绘制 传 违 国 数 mytt 曲线 ， 如 图 9-3 所 示 。 


.2 


瓦 咏 
色 9-3 日 定义 传递 图 数 mytf ( ) 曲 线 

N=-3:0.1:9; 

A=mytt(N); 

plot(OGN,A) 


JU5b 
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mytt(C derlv ) 
ans 一 
mydtf 


和 输入 type mytf， 可 以 查看 mytO 源 程序 。 


>> type myt 
functlion a = mytt(n) 


思 MYTE Example custom transfer functlon. 


0 


Use thls functlon as a template to write youUr Own function. 
Calculatlon yntax 


A=myttON) 
N -SSxQwmatrix of CQ net Input (column) vectors. 
A-SxGQnmatnx of CQ output (coljumn) vectors， 


jnformatlon yntax 


info = mytf(code) returns usefu] information for each CODE string: 
verslon - Returmmnas the Neural Network [Toolbox verslon (3.0)， 
dernv” -Returns the name of the assocliated derlivative functlon， 
output -eturns the output range. 
active” -人 etums the actlve Input range. 


Example 
nD 一 ->:.| :>; 


3 二 maytiny); 
Pjot(n;a) 


% Copyright 1997 The MathWorks, Inc. 

op $Revision: 1.2.2.1 $ 

narpgin < 1, errorCNot enough arguments. ); end 
1SStrOn ) 


Switch (Di) 
Case Verslon 
2 =3.0: 5 <-- Must be 3.0. 
case denv 
3a 二 mydtt : 2 <-- 人 Replace with the name of yoUT 
0 asSocliated fanctton OT ” 


case output 
a 三 |-]1 是 史 <-- Replace with the mainlimun and maximum 
GO output values of your transfer functlon 
Case actlve 
a 三 |[-2 2j; op <-- Replace with the range of Inputs where 
00 the outputs are most Sensltive to changes. 
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otherwlse, error( Unrecognized code.) 
end 
else 
a = .ns+]1) <--Replace with your calcujation 
cnd 


可 以 将 评 数 mytfO 作 为 一 个 模板 ， 用 来 生成 自 定义 的 传递 函数 。 

2. 传 违 函数 导数 函数 

如 朱 目 定义 传递 国 数 需 要 回 传 ， 则 甫 要 自 定义 传递 函数 导数 冰 数 ， 传 递 函数 导数 函数 根据 
给 定 的 网 络 输入 来 计算 此 层 输出 的 导数 。 假 设 定义 传递 函数 导数 图 数 为 xiudxO0， 则 应 用 下 曾 话 
人 铝 夺 算 此 层 和 输出 的 寻 效 。 

dA_dN=xliudx (NA) 

其 中 ，N 为 网 络 输入 向 量 ，A 为 网 络 输出 向 量 ，dA_dN 表示 导数 d4/dN。 

利 经 网 络 工具 箱 中 包 侣 了 一 个 目 定义 传递 函数 导数 函数 mydtf0, 输入 help mydtf 就 可 以 芍 
租 有 天 此 毅 数 的 带 助人 信息 。 

【 例 9-4】 绘 制 传递 图 数 寻 数 男 数 曲 线 ， 如 图 9-4 所 示 。 


9 U 9 
之 
[一 
全 

避 吕 9 


图 9-4 ， 自 定义 传递 函数 导数 函 数 mydtf 0) 曲线 


NN=-25:0.1:>: 
A=mytt(UN ): 
dA_dN=mydti(ON,A): 
subplot(211) 

blot (N,A) 
Subplot(212) 
pjlotWQN,dA_dN) 


和 输入 type mydtf， 可 以 但 看 mydtf go 的 源 程 序 。 


>> type mydtf 
functtion d= mydtt(n,al) 
5oMYDITIFE Exampjle custom transfer denvative function of MYTE. 


(0 

% Usethlis function as atemplate to write your Own functlon. 
(0 

加 yntax 

0 

OO dA_dN =mydttN,A) 

纪 N -xxQQmatrix of CQ net InDput (column) vectors. 

(2 A-sxwQmatnx of Q output (column) vectors. 


3U7 
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dA_dN -~-SXQ derivative dA/dN. 
史 “Example 
本 


和 0 3 一 mytftn):; 
90 da_dn = mydtfton， 了 
0 subplot(2,1 1 plotn,al 
subplot(2， 12), plot0n,da 0 
% Copyright 1997 The MathWorks, mc、 
吃 $Revision: 122.18$8 加 
“Replace the foUowing 本 with QU 
0 # derivatlve calculation 四 
d = -8kn.A7. *a.A2; 
9 ## Note that you have both the transfer functions input N and 
M *#* output A available, which can often allow a more efficient 
吧 ##x calculation of the derivatlive than with Just 人 


可 以 将 函数 mydtto 作为 一 个 模板 ， 用 来 生成 目 定 义 的 传递 图 数 导 数 函 数 。 
3. 网 络 输 入 函数 
网 络 输 入 函数 根据 给 定 的 加 权 和 输入 问 量 《或 着 宦 阵 ) Z， 寺 算 茶 层 的 网 络 输入 问 量 《或 二 
阵 ) NW， 网 络 输入 同 量 和 加 权 和 输入 同 量 必 须 具 有 相同 的 维 数 。 一 旦 定义 了 网 络 输 入 国 数 ， 束 可 
以 找 入 到 网 络 中 任意 一 层 上 。 假 设 定义 了 网 络 输入 函数 为 xiurfW ， 并 磐 入 网 络 第 3 技 上 ， 则 应 
用 下 面 语 句 实 现 。 
net.layers{3}.netInputFcn= Xiurf 
这 样 ， 在 对 网 络 进行 仿真 时 ， 都 可 以 应 用 此 时 设 定 的 网 络 输入 函数 。 
[Y Pf, Afl=sim (net P PI, Al) 
网 络 和 输入 国 数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
N=xlurt ( 忆 1 2，…) 


其 中 ，Z1、Z2.…… 为 加 权 输 入 向 量 ;N 为 国 数 返回 值 ， 即 网 络 输入 丫 量 。 

目 定 义 网 络 输入 孜 数 返回 如 下 信息 。 

和 version: 神经 网 络 工具 箱 的 版 本 。 

@ deriv: 相关 寻 数 吨 数 名 。 

神经 网 络 工 具 箱 中 包含 了 一 个 目 定 义 网 络 输 入 函数 mynif ， 和 输入 help mynif 束 可 以 狱 得 
有 关 此 函数 的 帮助 信息 。 举 例 说 明 如 何 应 用 mynif@ 进行 网 络 和 输入 回 量 计算 。 

【 例 9-5 了】 

Z]1=rand(4,4): 

Z2=fTand(4.4)， 

Z3=rand(4,4); 

N=mynlit(Z1 22 .2Z3) 

mynifoderiv'”) 


答 出 结 末 如 下 。 
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N = 
0.2289 0.051 1 0.1041 U.1078 
0.1341 0.102>3 0.01 72 0.1194 
0.10603 0U.1197 0.1231 0.0138 
0U.1797 0.00014 0U.180U0U 0U.1630 

ans 二 

derlv 


和 输入 type mynif， 可 以 查看 mynifw 的 滨 程 序 。 

>> type mynlf 

function n=mynlifi(vararglny) 

%MYNIE Example custom net input function. 

O 

9 Use this function as atemplate to write your Own function. 
0 

2 Caculatlon syntax 


0 

0 N = mynlft(Z1 2Z2…) 

0 Zi-SxaQmatrix of Q welighted (column)j vectors， 

0 N-SxaQmatrix of Q net Input (colunn) Vectors， 

O 

多 Informatton Syntax 

OO 

0 info = mynif(code) returns useful information for each CODE strng: 
0 version' - Returns the Neural Netwofrk Toolbox verslon (3.U)， 

Oo deriv -Returns the nanmae of the assoclated derlvatlve function. 
0 

2 上 Example 

OO 


2 zl = Tand(4,3)， 

5 72 =Trand(4.2>); 

0 Z3 = Tand(4.93): 

和 n = Inynlif(zl,z2;z3) 

% Copyright 1997 The MathpWworks, inc. 

9 $Revision: 1.2.2.1 $ 

ifnarpgin < 1, error(CNot enough arguments. ); end 

n 三 Vararpglnt |; 

tf 1SStrny) 

SWitch n 
case Verslon 
3a 一 3.0， 0 <-- Must be 3.U， 
case deriv 
a= 'mydn 让 ; % <-- Replace with the name of yoUT 
9 assSociated derivative functlon or 
otherwlse 
error(CUnrecognlzed code. ) 


MATLAB 神经 网 络 仿 真 与 应 用 


end 


“else 本 0 
OO Replace the following calculation YOUIT Own. 


The ony 
和 **# ”Constraint is that the function must not be Sensitive 
9% ## to the order of its input arguments， 。 
9 ## JIn other words， MYNIF(Z1Z2,Z3) must return the， same 


及 VYaluesas MYNIF(Z2,Z3,Z1D), MYNIF(Z1,Z3,Z2),etc. 


= 1.7n: 
1 之 2 length(varargin) 
了 三 有 十 1 varargin { 计 
ad 
n = 1.An: 
end 


可 以 将 函数 mynif GO 作为 一 个 模板 ， 用 来 生成 目 定 义 的 网 络 输入 函数 。 
4， 网 络 输入 导 国 效 
如 果 自 定义 网 络 输入 图 数 需 要 回 传 ， 则 需要 目 定 义 网 络 输入 导数 本 数 ， 网 络 输 入 导数 函数 


根据 给 定 的 加 权 输 入 来 计算 此 层 网 络 输入 的 导数 。 假 设 定 义 网 络 和 输入 导数 函数 为 xiurfW ， 则 心 
用 下 面 语 名 计算 此 层 网 络 输入 的 导数 。 


dN _dZ=xiurf (ZN) 


其 中 ，Z 为 网 络 加 权 输 入 向 量 ，N 为 网 络 输入 向 量 ，dN __dZ 表示 导数 dVdZ。 


神经 网 络 工 具 箱 中 包含 了 一 个 目 定 义 网 络 输入 本数 吨 数 mydnifW ， 和 输入 help mydnif 下 可 


以 获得 有 关 此 函数 的 帮助 信息 。 举 例 说 明 如 何 应 用 mydnifw 计算 网 络 输 入 寻 数 。 


【 例 9-6 】 


了 1=Trand(4, 才 ) 
Z2=rand(4,4); 
Z3=rand(4， 4); 


N=mynif(Z1， Z2 ,Z3) 

dN_dZ1=mydnaif(Z1,N) 
dN_dZ2=mydnifZ2.N) 
dN_dZ3=mydnifZ3,N) 


得 出 结果 为 
N= 
0.1414 0.1639 ”0.1650 ”0.2149 
0.1784 “0.0493 ”0.0874 ”0.1371 
0.0449 “0.2010 0.1945 0.1432 
0.2311 0.0395 ”0.0145 ”0.1821 
dN_dZ1 = 
0.0016 0.0091 0 0051 0.0130 
0.0070 “0.0004 ”0.0004 ”0.0077 
0.0000 “0.0107 ”0.0127 ”0.0009 
0.0522 ”0.0002 ， 0.0001 ”0.0048 
dN_dZ2 = 
0.0123 ”0.0170 0.0047 ”0.0272 
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0.0147 0.UU000 0.0007 U.01 77 
U.UUU4 0.0147 U.U289 U.0201 
U.U1 /2 0U.UUU0 U.UUUU 0U.U2U0 
dN_dZ3 = 
0.0038 0U.UU28 0.U1>1] 0.U2106 
U.UU /79 U.UU22 U.UU0> 0U.UUU8 
U.UUU] 0.U0213 U.UU 7 3 0.0144 
0.022 ] 0U.0003 0.0002 0U.0131 


答 入 type mydnif， 可 以 奋 看 mydnif (0 的 源 程序 。 

>> type mydnif 

functlon d = mydnlif(z,n) 

AMYDNJIF Exampjle custom net Input derivative fnction of MYNIE 


0 

和 Use this function as a template to write your own function. 
00 

加 yntax 

OO 

5 dN_dZ = dtanslg(Z,N) 

0 二 一 XQmatrx of Q welghted input (column) vectors. 
5 N -5xCQmatnx of (Co net Input (column) vectors. 

O dN_dZ -sxQ derivative dN/dZ. 

9p 

和 Example 

和 


O Z1 = Tand(4.9); 

0 72 三 Tand(4,3); 

2 Z3 = Tand(4,> ); 

0o =Iynlii(Z1.z2,Z3) 

dn_dzl = mydnif(zln) 

9 dn_dz2 = mydnif(z2,n) 

dn_ dz3 = mydnif(z3,n) 

Lopynght 15997 The MathWorks, Inc，. 

0 $Revlsion: 1.3.2.1 9 

加 “Replace the following calculation with your 
sderivatlve calculation. 

过 而 

加 ”Note that you have both the net input 乙 in question 
思 and output N avallable to calculate the derivative. 


可 以 将 函数 mydnifg) 作为 一 个 模板 ， 用 来 生成 自 定义 的 网 络 输入 导数 函数 。 
5. 权 值 函数 
权 值 朋 数 根据 给 定 的 输入 回 量 (或 者 和 阵 ) 己 及 权 值 矩阵 杯 ， 计 算 一 个 加 权 的 输入 向 量 (或 
咎 阵 ) 和 。 一 旦 定义 了 权 值 玫 数 ， 束 可 以 内 入 到 网 络 中 任意 输入 权 值 和 层 权 值 上 。 假 设 定义 权 
值 国 效 为 xiurwW ， 并 和 骨 入 网 络 第 1 个 输入 到 第 3 层 的 权 值 上 ， 则 应 用 下 面 语句 实现 。 
net.Inputyelghts{3,1).welightFcn='xiurw' 


二 
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这 样 ， 在 网 络 进行 仿 基 时， 都 可 以 应 用 此 时 设 定 的 权 值 吨 数 。 
YE Ai 菇 =stim (net, 了 PL AD) 
权 住 范 数 编制 完成 后 ， 可 以 应 用 如 下 方式 进行 调用 。 
必 =XIUTW (W, 了) 


其 中 ，P 为 输入 同 量 ;，W 为 权 信 窍 阵 ; 乙 为 加 权 输 入 向 量 。 
目 定 义 权 全 图 数 妈 回 如 下 信息 。 
和 version: 神经 网 络 工 具 箱 的 厂 本 。 
@ deriv: 相关 导数 函数 名 。 
神经 网 络 工 具 箱 中 包含 了 一 个 目 定 义 权 仁 国 数 mywfO ,输入 help mywf 加 可 以 获得 有 关 此 
函数 的 帮助 信息 。 人 举例 说 明 如 何 应 用 mywf 进行 权 值 说 置 。 
【 例 9-7 】 
W=rand(] .4) 
P=rand(4,1) 
Z=mywf(W,P) 
maywftCdertiv ) 


葵 出 结 未 为 
= 
0.1338 ”0.2071 0.6072 ”0.6299 
本 只 

0.3705 

0.5751 

0.4514 

0.0439 
用 一 

0.2118 


和 输入 type mywf， 可 以 得 看 mywf 的 产程 序 。 


>> type mywt 
function z=mywf(w,p) 
%MY WE Example custom welght functon， 


0 

2 Use thils function as atemplate to write yoUT Own functton. 
和 

% Calculation Syntax 

忆 =InYWt(CYW ,PP) 

% W -XR welght ImatrlX. 

o P -及 XQ matrix of Q input (column) vectors. 

%o Z -9xwmatrx of CQ welghted Input (column) vectors. 
册 

吃 “Information Syntax 

OO 


加 info = mytft(code) returns useful Information for each CODE string: 
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0 Verslon - Returns the Neural Network Toolbox version (3.0). 

2 derv -Retums the name of the assoclated derivative fanction. 
O 

和 Exampje 

0 


0 w=Tfrand(].3); 

和 8 p = rand(9,1); 

和 zZ = ImYwfCw,p) 

和 Lopynght 1997 The MathWorks, Inec. 
5 $Revision: 1.2.2.1 $ 


tf nargin < ], error( Not enough arguments. ); end 
1SStr(w ) 
SWlitch (w) 
Case Verslon 
3 三 3.0; 和 <-- Must be 3.0. 
case deniv 
a= mydtt;  %<--Replace with the hame of your 
和 associated function or " 
otherw1lse 
error( Unrecognlzed code.) 
end 
ejse 
和 *#* eplace the folljowing calculaton with youT 
o 3 welghbng calculation，， IThe only constraint， 坟 you 
吼 ##k Wantto define a derivative function is that Z must 
加 ”beasumofiterms, where each lth term ls only a 
加” afunction of wD and p(U. 
Z 一 W#k(P.^2); 
end 


可 以 将 曙 数 mywfo 作为 :个 模板 ， 用 来 生成 目 定 义 的 权 值 遇 数 。 
6. 权 值 导 数 函 数 
如 采 目 定义 权 仁 函数 需要 回 传 ， 则 需要 上 自 定 义 权 值 导 数 函 数 ， 权 值 导数 函数 根据 输入 和 权 
值 计算 此 层 的 加 权 和 输入 的 导数 。 假设 定 义 权 值 导 数 函 数 为 xiudrfO0,， 则 应 用 下 面 语 名 计算 此 层 加 
权 输 入 的 导数 。 
dZ_ dbP=xiudrf (PP , W, 忆 LI) 
dZ_dW=xiudrf (Cw'，W, P Z) 
其 中 ，W 为 权 值 矩阵 ，P 为 输入 同 量 ; Z 为 加 权 输 入 向 量 ;，dZ_dP 表示 导数 dZ/dP:; dZ_dW 表 
示 导 数 dZ/dW。 
神经 网 络 工 具 箱 中 包含 了 一 个 目 定 义 权 值 导 数 函 数 mydwfw ,输入 help mydwf 就 可 以 获得 
有 关 此 函数 的 帮助 信息 。 举 例 说 明 如 何 应 用 mydwfG 计算 加 权 输 入 导数 。 
【 例 9-8 】 
W=rand(] .4) 


RE 
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P=rand(4,1 ) 


Z=mywf(W,P) 


dZ_dP=mydwf(p',W,P,Z) 
dZ_dW=mydwfttw' ,W: 了 , 站 


W = 

0.7176 “0.6927 ”0.0841 0.4544 
PP = 

0.4418 

0.3S33 

0.1S36 

0.6756 
V 一 

0.4359 
dZ _dP = 

0.6341 “0.4894 ”0.0258 ”0.6140 
dZ_dW = 

0.195S2 

0.1248 

0.0236 

0.4565 
和 输入 type mydwf， 可 以 查看 mydwfg 的 源 程 厅 。 
>> type mydwt 


function d=mydwtcode wp,Z) 
%MYDWEF Example custom weight derivatlve RN for MY WE. 
0 

% Use thts function as a template to write your own function 


0 syntax 


%  ，dZ_dP = mydwf(p,W,P,Z) 
% dz_dwW=mvdwfcw' WPZ) 


W-SXRweight matrix， 
和 了 -RX 人 atrIX of Q input (columm) Vectors， 
攀 -SSXQmatrx of Q weighted WE Wupsi 
多 dZ_dP -S$SXxR derivative dZ/dP. 
本 上 虹 - dW - ER derivative dZdW ee 2 
0 Example 


WwW 一 tand(1.S); 

pb = rand(o ,1); 

[io Z=ImYwWfCw,PD) 

dz_dp = mydwft(P ,w,P,Z) 


哆 dz_dw = mydwft ww,P,z) 
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% Copyright 1997 The Mathb Works, Inc. 

和 $Revision: 1.2.2.1 $ 

5 *## Replace the following calculations with yoUT 

名 +# derlvative calculatton. The only constralint is that 

9 *# the weight function must be a sum of elements, where 
加 +## each elementlls afunctlon of wu andPp(D only. 


Switch code 

case p , d = 2#kwW.xp ; 

case WwW ，,d=P.^2; 

otherwise, error(f Unrecognlzed code.]) 
end 
% *## Note that you have both the transfer functions input N and 
狗 *#k output A available, which can often allow a more efficient 
台 # 半 calculation of the derivative than with just N. 


可 以 将 函数 mydwf (0) 作为 一 个 模板 ， 用 来 生成 自 定义 的 权 值 导数 函数 。 
9.2.4 自 组 织 函 数 


本 小 节 介 绍 如 何 自 建 目 组 织 特征 轴 射 网 络 中 所 用 到 的 拓扑 图 数 和 距离 冰 数 。 
1， 拓扑 函数 
在 指定 维 数 的 情况 下 ， 拓 扑 函 数 可 以 计算 茶 .- 层 中 神经 元 的 位 置 。 一 旦 定义 了 拓扑 国 数 ， 
就 可 以 和 入 到 网 络 任意 一 层 上 。 假 设 定义 了 拓扑 图 数 为 xiutop 0， 并 舱 入 网 络 第 3 技 ， 则 应 用 
下 面 语 纯 实现 。 
net.layers{f2}.topologyFcn= xlutop ; 
这 样 ， 任 何 时 候 网 络 进 行 训 练 或 者 自 适应 调节 时 ， 都 可 以 应 用 此 时 设 定 的 拓扑 永 数 。 
[net, tr]=train (NET PP 1 P Al) 
[net YY 上 , Pt, A 吉 =adapt (NE 已 上 已 , AD 
拓扑 函数 编制 完成 后 ， 输 入 一 定 的 维 数 。 调 用 拓扑 函数 ， 承 可 以 计算 出 昼 经 元 的 位 置 pos， 
调用 方式 如 下 。 
Pos=xlutop (diml, dim2, … , dimN) 
神经 网 络 工具 箱 中 包含 一 个 上 自 定 义 拓 扑 函 数 mytopf ) ， 输 入 help mytopf 融 可 以 获得 有 关 
此 函数 的 帮助 信息 。 举 例 说 明 如 何 应 用 mytopfb 拓扑 函数 计算 神经 元 的 位 置 。 
【 例 9-9】 绘制 应 用 mytopf We 和 9-5 


pos=mytopf(1l 9?， | > ); 
plotsora(Ppos) 


Neuron PSitIODS 


Positiontz2 ,省 





PoSsijtient 1 小 


图 9-$ 拓扑 结构 


》 师 师 
ao 二 各 
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输入 type mytopf， 可 以 查看 mytopf( 的 滨 程 序 。 


>> type mytopt 

function pos=tmytopft(varargin) 

5MYTOPEFE Example custom topology function. 

OO 

狗 Usethis function as a termmplate to write yout Own function. 


4 YIitax 


和 pos = mytopt(dml,dm2…:dImN) 

4 dimi - nunmaber of neurons along the lth layer dimension 

和 pos -NXS matrix of S position vectors, where S is the 
0 total number of neurons which is defined by the 
% product dimlxdim1x…x*dimN 


Example 


叱 pos = mytopf(20,20); 
pljotsom(pPos) 


多 Copyright 1997 The MathWorks, Inc. 
0 $Revision: 1.2.2.1 $ 


9 ## Replace the code below with your own caiculation 
0 *## for the neuron DoSitlons. 


dim = [varargtinf :让 ; o The dmenslions as arOw vector 
size = prod(dim): 9 Total number of neurons 

dims = jength(dinny); 嘱 Number of dimenslons 

pos = zeros(dims,size);) ” % The Size that POo wineedto be 
jen = 1; 。 加 


dimi= 二 dim(y; 


newlen = len+kdimi; 
poSs(1: (i- 1),1 mewlen) = pos(1:(i- 1 Tem(0: Cewlen- )， nj) 
posi = 0:(dimi-1); 司 
bos(ll:newien) = posidfloor((O mewienDMien+1 
len = newleni; 

end 

for i=1:2 
posti,:)=pos(i,:)*0.7+Sin([1:Sizej*eXxpP(1)S*+*UD*#O.2; 

end 


“可 以 将 函数 mytopf (0) 作为 一 个 模板 ， 用 来 生成 自 定 义 的 拓扑 函数 。 
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2， 距离 斋 数 
在 指定 位 置 的 情况 下 ， 距 离 图 数 可 以 计算 某 一 层 中 神经 元 的 距离 。 一 旦 定义 了 距离 函数 ， 
屿 可 以 能 入 到 网 络 任意 一 层 上 。 假 设 定义 了 距离 函数 为 xiudistf() ， 并 嵌入 网 络 第 3 层 ， 则 应 用 
下 面 语句 实现 。 
net.jayers{31.dlistaaceFcn= Xiudlis 引 “: 
这 样 ， 任 何 时 刻 网 络 进行 训练 或 者 目 适 应 调节 时 ， 都 可 以 应 用 此 时 设 定 的 距离 函数 。 
[net, tr|=traln (NET P 工 PI AD 
[net YY 了 上 ,FAfil=adapt (NET PP 工 P AD 
距 离 印 数 编制 完成 后 ， 输 入 一 定 的 位 置信 息 。 调 用 距离 国 数 ， 就 可 以 计算 出 距离 d， 调 用 方式 
如 下 。 
d=Xxliudlistf (pos1, pos2, .… , poSsN) 
神经 网 络 工具 箱 中 包含 一 个 自 定 义 距 离 图 数 mydistf 0) ， 输 入 help mydistf 就 可 以 获得 有 关 
此 函数 的 帮助 信息 。 举 例 说 明 如 何 应 用 mydistf 0 距离 函数 计算 神经 元 之 间 的 距离 。 
【 例 9-10 】 


pos=gridtop(Z,3); 

d=mydistt(pos) 

衔 出 结 采 为 

d = 

0 1.0000 1.0000 1.3874 2.0000 72.4473 

] .U00U0 0 1.9874 1.0000 2.4473 2.0000 
1.0000 1.9874 0 1.0000 1.0000 1.5874 
1.S874 1.0000 1.0000 0 1.3874 1.0000 
2.0000 2.4473 1.0000 1.9874 0 1.0000 
2.4473 2.0000 1.35874 1.0000 1.0000 O 


和 输入 type mydistf， 可 以 查看 mydistf ou 的 源 程 序 。 


>> type mydlistf 
function d = mydlstt(pos) 
MYDIsIE Example custom distance functlon， 





儿 Usethis function as atemplate to write your own function， 
| | 0 

帮 SyYntax 

d=Imydistt(pos) 四 本 

0 pos -NXS matrix of S neuron posltion vectors， 

20 d -SSxwmatrx of neuron distances. 

2 

2 Example 

00 


色 pos = gridtop(3,2); 
加 d=Imydlistt(pos) 
2% Copynght 1997 TIhe MathWorks, Inc. 


二 汪 
we 本 2 
2 ae 
区 En 
5 
1 
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% $Revision: 1.3.2.1 $ 
s = size(pos,2); ee 四 
for i=l:S 
for j=1:8 人 
9 4#* Replace the following line of code with yoUr Own ， ， Re 
9 ## Meastfe of distance. 四 


d(0U) = norm(pos(: -pos( 有 1 3 
end 
end 


可 以 将 函数 mydistf (0) 作为 一 个 模板 ， 用 来 生成 目 定 义 的 距离 图 妆 。 


时 
2 





钊 经 网 络 的 应 用 


us 





10 





10.1 “线性 神经 网 络 在 线性 预测 中 的 应 用 


【 例 10-1】 利 用 adapt 函数 对 目 运 应 滤波 网 络 进行 革 
时 变 正 弱 信 和 号 进行 自 适 应 预测 。 

1 ) 定义 输入 矢量 和 目标 夭 重 

待 预测 的 时 变 正弦 信号 了 定义 如 下 





练 ， 并 用 设计 好 的 自 适 应 滤波 网 络 对 某 


Sin(4TK) 天 委 48 
Sin(8TK) 4S< 天 委 6S 


可 见 ，4s 以 后 正弦 信号 频率 加 倍 。 此 外 ， 信 号 的 采样 频率 前 4s 取 每 秒 采样 20 次 ，4s 以 后 
加 倍 。 该 时 变 正 弦 信 号 了 可 以 采用 如 下 MATILAB 语句 生成 。 

t=0:0.03:4; 

t2=4.04:0.024:6， 

t=|t1 世 ]; 

T=[sin(tl1x4*xpU Sin(t2*8*pD]; 
为 了 便于 训练 ， 将 信号 了 转换 成 序列 的 形式 。 

T=con2seq(]); 


坦 号 与 目标 序列 相同 。 





P= 上 

2 ) 网 络 设计 

在 每 一 个 采样 时 刻 点 ， 采 用 该 时 刻 之 前 的 5 个 采样 信号 值 作为 网 络 的 输入 ， 网 络 的 输出 
和 本 和 机 乡 机 据 此 ， 线 性 自 适 应 滤波 网 络 可 以 按 如 多 10-1 所 示 的 结构 进行 
放 寺 
首先 ， 采 用 newlin 函数 生成 如 图 10-1 所 示 的 自 适 应 滤波 网 络 ， 即 本 

1]r=0.1; 

delays=[1 234 5 

net=newlin(mintimax(cat(2,P {: 了 7， 工 delays， 1 
其 中 ， 网 络 学 习 速 率 Ir 取 为 0.1。 

然后 ， 利 用 adapt 函数 对 所 生成 的 # 


[net,Y, 世 ]=adapt(net, 了 , 工 ); 


ae 

















一 让 





上 | 
让 注 5 









和 号 2 
"me 蝇 
本 
2 关 
下 上 浊 


1 
和 1 
6 -aa “1 册 由 
0 和 1 和 
本 | 1 册 几 
11 站 起 吕 计 中 RE 
. 2 本 训 天 有 光 生 生 这 
区 
和 了 让 于 
由 hn 
站 于 
1 
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输入 线性 伸 经 元 





图 10-1 日 适应 滤波 网 络 结构 网 
3 ) 网 络 测试 
为 了 检测 网 络 的 预测 效果 ， 在 网 络 训练 完成 之 后 ， 可 以 将 网 络 预测 输出 与 目标 信和 号 绘制 在 
同一 幅 图 中 加 以 比较 ， 如 图 10-2 所 示 ， 其 中 虚线 代表 目标 信号 





O 1 < 3 和 它 


色 10-2 ”预测 俩 吕 与 目标 信号 曲线 


由 图 10-2 可 见 ， 在 经 过 大 约 1.Ss 的 自 适 应 训练 之 后 ， 网 络 几乎 可 以 完全 跟踪 目标 信号 〈 曲 
线 儿 乎 完全 重合 )。 在 第 4s 时 刻 ， 由 于 目标 信号 的 频率 发 生 突变 ， 所 以 网 络 的 输出 与 目标 信和 号 
册 线 稍 有 偶 和 震 ， 但 由 于 神经 网 络 先 前 已 经 对 与 当前 信号 相似 的 正弦 信号 进行 了 学 习 ， 所 以 经 过 
更 短 的 训练 时 间 就 能 再 次 精确 地 预测 目标 信和 号 

图 10-3 给 出 了 网 络 的 预测 误差 曲线 。 


1 2 3 人 5 
图 10-3” 预 负 误 差 曲线 


4) 本 例 完 整 的 MATLAB 程序 代码 


clear al 本 

% 定 义 输入 矢量 和 目标 矢量 
t1=0:0.05:4; 

t2=4.04:0.024:0; 

t=[tl t2]; 

工 =[sSim(tl1*4*pHb Sin(t2*8*kp1)]: 
本 =con2seq(T); 

多 目 标 信号 


(9 
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下 三 下 

% 绘 制 待 预测 的 目标 信号 曲线 
piottbecat(2, 上 )) 

和 生成 目 适 应 滤 溉 网 络 

色 和 学 习 速 率 

1]r=0. 1 

dejays=[123435]; 
net=newln(minnmax(cat(2.P{:) Edelays,lr); 
% 对 网 络 进行 训练 

[netY 了 |=adapt(net 了 上 ,1); 

色 绘制 网 络 预测 答 出 曲线 

plot(tcat(2. 工 全 -tcat(2 YY 全) 

C 直 

多 绘制 预测 误差 曲线 

plot(t,cat(2, 世 {1 站 [mnt max(tb],[o0]2) 


10.2 ”神经 模糊 控制 在 洗衣 机 中 的 应 用 


20 世纪 90 年 代 初 期 ， 日 本 松下 公司 推出 了 神经 模糊 控制 全 自动 洗衣 机 。 这 种 洗衣 机 能 够 
目 动 判断 衣物 的 质地 软 全 程度 、 衣 量 多 少 、 及 污 程度 和 性 质 等 ， 应 用 神经 模糊 控制 技术 ， 自 动 
生成 模糊 控制 规则 和 隶属 度 图 数 ， 预 设 洗 衣 水 位 、 水 流 强度 和 洗涤 时 间 ， 在 整个 洗衣 过 程 中 实 
时 调整 这 上 芋 参数 ， 达 到 最 佳 的 洗衣 效 未 。 


10.2.1 洗衣 机 的 模糊 控制 


洗衣 机 的 主要 和 被 控 参 量 为 洗涤 时 间 和 水 流 强 度 ， 而 影响 这 一 输出 参量 的 主要 因子 是 被 洗 
物 的 洗 浊 程度 和 浑浊 性 质 ， 后 者 可 用 浑 独 度 的 变化 率 来 描述 。 在 洗涤 过 程 中 ， 油 污 的 浑浊 度 
变化 率 小 ， 泌 污 的 尝 省 度 变化 率 大 。 因 此 ， 海 浊 度 及 其 变化 率 可 以 作为 控制 系统 的 输入 参量 ， 
而 洗涤 时 间 和 水 流 强 度 可 作为 控制 量 ， 即 系统 的 输出 。 实 际 上 ， 洗 衣 过 程 中 的 这 类 输入 和 输 
出 之 团 很 难 用 和 定 的 妾 学 模型 进行 朱 述 。 系 统 运行 过 程 中 具有 较 大 的 不 确定 性 ， 控 制 过 程 在 
很 六 程度 上 依 顿 操作 者 的 经 验 ， 这 样 一 来 ， 利 用 彰 规 的 方法 进行 控制 难以 奏效 。 但 是 ， 如 果 
利用 专家 知识 进行 控制 决策 ， 人 往往 容 多 实现 优化 控制 ， 这 惑 是 在 洗衣 机 中 引入 模糊 控制 技术 
的 主要 怕 因 之 一 。 

恨 据 上 述 的 模糊 控制 基本 蛛 理 ， 可 得 出 确定 洗 注 时 间 的 模糊 推理 框图 ， 如 图 10-4 所 示 。 其 
和 葵 入 量 为 水 的 将 独 度 及 其 变化 率 , 输出 量 为 洗 洗 时间。 攻 谍 到 适当 的 控制 性 能 希 要 和 程序 简化 ， 
定义 输入 量 洗 浊 上 度 的 模糊 词 集 为 { 请 、 较 闻 、 独 、 很 痢 }， 定 义 浑 间 度 变换 率 的 模糊 词 集 为 { 零 、 
小 、 中 、 大 }， 定 义 输出 变量 洗涤 时 间 的 模糊 词 集 为 { 短 、 较 短 、 标 准 、 长 }。 描 述 输入 /输出 变 





图 10-4 人 硼 定 洗涤 时 间 的 模糊 推理 框 网 
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通 弟 定 闵 一 个 模糊 子 集 ， 实 际 上 融 征 确定 模糊 子 集 隶 属 图 数 形状 的 过 程 。 将 确定 的 隶属 国 
数 曲线 离散 化 ， 岗 得 到 了 有 限 个 点 上 的 隶属 度 ， 构 成 了 一 个 相应 的 模糊 子 集 。 如 图 10-5 所 示 ， 
定义 了 隶属 印 数 曲 线 表示 论 域 中 元 素 对 模糊 变量 4 的 隶属 程度 。 设 定 该 隶属 函数 的 论 域 x 为 

X 二 (一 0; 一 > 一 人, 一 3 一 2 一 10,1.2.3,4,5;6) 


则 有 


LO)=A CO) 三 (0.2 ， HA) = AnGD) 三 0 ，[LL (4) 三 1 


HL 





0 2 4 6 
图 10-5 ”模糊 变量 4 的 隶属 度 男 数 


论 域 X 中 除了 2、3、4、5、6 外 ， 各 点 的 隶属 度 均 为 0。 那 么 模糊 变量 4 的 模糊 子 集 为 
4=0U.2/2+0.713 上 +1/4+0.713+0.2/0。 

通过 这 个 例子 可 以 看 出 ， 在 隶属 函数 的 曲线 确定 后 ， 就 可 以 很 容易 地 定义 出 一 个 模糊 变量 
的 模糊 子 集 。 洗 衣 机 模糊 控制 的 输入 和 输出 变量 的 隶属 图 数 如 图 10-6 所 东 ， 由 此 可 以 相继 确定 
它们 的 模糊 子 集 。 


EC 0 T2 3 145 6 ooTaa4967 8 
(a) 浑浊 上 度 b) 浑浊 度 变化 率 (c) 洗涤 时 间 
图 10-6 ”洗衣 机 模糊 变量 隶属 函数 
洗衣 机 的 模糊 控制 规则 可 以 归纳 为 16 条 ， 如 表 10-1 所 示 。 
表 10-1 洗衣 机 的 模糊 控制 规则 表 


洗涤 时 间 


变化 率 


10.2.2 ”洗衣 机 的 神经 网 络 模糊 控制 铝 的 议 计 
洗衣 机 模糊 控制 的 控制 部 分 框图 如 图 10-7 所 示 ， 模 糊 控 制 器 如 图 中 虚线 所 示 。 模 糊 控制 的 
过 程 是 这 样 的 ， 首先 洗衣 机 获取 的 浑浊 度 信 息 由 传感器 送 到 信息 处 理 意 元， 分 为 浑 独 上 度 和 深 测 
度 变 化 率 谤 入 模糊 控制 器 。 对 于 输入 的 模糊 量 ， 击 要 将 其 转换 成 模糊 芝 量 ， 通 过 半 睛 机 ， 利 用 
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代表 法 按照 模糊 推理 法 则 做 出 决策 ， 结 果 被 认为 是 模糊 变量 ， 经 过 去 模糊 化 单元 处 理 ， 再 由 执 
行 机 构 去 修改 洗涤 条 时 间 ， 这 样 就 完成 了 一 次 本 控制 算法 过 程 


到- 人 全 
规则 









图 10-7 ”模糊 检 制 的 控制 部 分 框图 


一 般 的 模糊 控制 洗衣 机 将 “专家 经 验 ” 通 过 模糊 控制 规则 表 体 现 出 来 ， 运 行 中 通过 查 表 做 
出 控制 决策 ， 这 比 需 要 操作 者 设 定 程序 的 电脑 控制 洗衣 机 前 进 了 一 大 步 。 但 是 ， 这 种 洗衣 机 由 
于 规则 表 需 要 占用 大 量 的 内 存 空 间 ， 查 表 反 应 速度 慢 ， 只 能 够 按照 已 经 编 入 的 规则 进行 榨 制 ， 
因此 不 够 理想 。 而 把 神经 网 络 和 模糊 控制 相 结 合 ， 则 能 够 解决 这 些 问 题 。 

洗 认 机 的 神经 网 络 模糊 控制 是 利用 离线 训练 好 的 网 络 ， 通 过 在 线 计 算 即 可 得 到 最 佳 输出 。 
这 种 控制 模式 的 反应 速度 快 ， 而 且 神 经 网 络 又 具有 自学 习 功 能 和 联想 能 力 ， 对 于 未 在 训练 中 出 
现 的 社 本 ， 也 可 以 通过 联系 记忆 的 功能 ， 做 出 控制 决策 ， 表 现 非常 灵活 。 

洗衣 机 的 神经 网 络 模糊 控制 器 的 控制 系统 中 含有 多 个 神经 模糊 环节 ， 下 面 仅 介绍 以 浑浊 度 
和 洗 浊 上 度 变 化 率 为 输入 变量 来 确定 洗 洗 时 间 的 控制 器 。 控 制 器 的 控制 框图 如 图 10-8 所 示 ， 浑浊 
度 钊 经 网 络 结构 如 图 10-9 所 示 。 


有 国 
| 

ET 划分 糊 控制 人 

变化 洁 
传感器 


图 10-8 神经 网 络 模糊 控制 器 的 控制 框图 





答 入 层 ”中 间 层 ”和 输出 层 
图 10-9 ” 洗 和 度 神经 网 络 结构 


钊 经 模 灶 控制 化 在 输入 /输出 参量 的 选择 及 模糊 论 域 和 模糊 子 集 的 确定 方面 , 与 一 般 模 糊 控 
制 硕 没有 什么 区 列 ， 只 是 在 推理 手段 上 引入 了 神经 网 络 。 令 九 ~ 轧 为 输入 量 浑浊 度 的 模糊 子 集 ， 
MX ~ 辐 4 为 答 入 星 泊 . 独 度 变 化 率 的 模 炎 子 集 ， 太 ~ 达 为 输出 控制 量 的 模糊 子 集 。 从 模糊 控制 规则 
表 10-1 中 可 以 看 出 ， 其 有 16 条 控制 规则 ， 每 条 规则 都 是 一 对 样本 ， 则 共有 16 对 样本 。 例 如 ， 
当 浑 痢 度 为 “ 清 ”， 浑 独 度 变化 率 为 “ 雯 ”时 ， 洗 洗 时 间 应 该 为 “ 短 ” 这 个 样本 可 以 表示 为 


x 一 [0.6.0.1.0,0.0.0,1.0.0.5.0,0,0.0,0]1 ， > =11.0,0.5.0,0.0.0,0.0] 


其 中 , xx 中 的 各 元 素 为 对 应 的 隶属 纯 数 , 即 模糊 子 集 的 赋值 。 同 理 可 列 出 其 他 15 个 样本 对 ， 
并 将 它们 依次 送 入 神经 网 络 进 行 离线 训练 ， 当 训练 结束 后 ,神经 网 络 已 经 记忆 了 模糊 控制 规则 ， 
使 用 时 共有 联 写 记忆 功能 。 每 一 个 输入 参量 的 模糊 量 如 表 10-2 所 示 。 
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表 10-2 输入 参量 的 模糊 量 


输入 参量 模 糊 量 
这 省 虑 
小 00.310.4000 
浑浊 度 杰 化 率 
轻 短 040810.80.40200 
洗 洪 时 站 标准 0000.20.610.60.2 


根据 模糊 规则 ， 可 以 得 到 网 络 的 训练 样本 已 和 7。 完 整 的 MATLAB 代码 如 下 。 


P=f1 0.60.1000010.500000; 
10.60.1000000.510.4000; 
10.60.100000000410.60; 
10.60.100000000000.8: 
00.60.6000010.500000: 
00.60.6000000.510.4000; 
00.60.600000000.410.60; 
00.60.600000000000.8: 
000.6100010.3500000; 
000.6100000.510.4000; 
000.610000000.410.60; 
000.610000000000.8; 
000010.6010.300000; 
000010.6000.510.4000: 
000010.600000.410.60; 
000010.600000000.8]: 

T=[10.5000000; 

0000.2 0.610.6 0.2; 
0000.20.610.60.2; 
000 0.2 0.6 1 0.6 0.2; 
0.40.810.80.40.200; 
0000.2 0.6 10.6 0.2; 
000000.2 0.5 0.8; 

0000.20.610.60.2; 
0000.2 0.610.60.2; 
0000.20.610.60.2; 
000000.2 0.50.8: 
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000000.20.5 0.8; 

0000.20.010.60.2; 

0000.20.60610.60.2; 

000000.20.30.8: 

QU00000.20.3 0.8]:; 
% 根 据 人 olmogoroy 定理 ， 由 于 答 入 层 有 14 个 节点 ， 所 以 中 间 层 有 29 个 节点 
% 中 间 层 神经 元 的 传递 函数 为 tansig 
% 输 出 层 有 8 个 节 扣 ， 其 神经 元 传递 函数 为 logsig 
多 训练 函数 采用 traingdx 
net=naewftt(minmax(P),[29,8],{tanslg ,logsig }j ,traingdx ); 
旬 训练 步 数 为 1000 放 
多 训练 目标 误差 为 0.001 
net.trainParam.epochs=1000; 
net.trainParam.go 纠 =0.001; 
net=trainnet,P,T); 
Y 立 =SlIm(net, 卫 ):; 
多 求 训练 值 在 每 一 个 点 上 的 误差 
for 1=1:16 

X(D=normn(Y( ID) 

end 
plot(]:16,X); 


网 络 的 误差 曲线 如 图 10-10 所 示 。 由 此 可 见 ， 网 络 的 最 大 误差 不 超过 0.2， 说 明 网 络 性 能 是 
可 以 满足 控制 要 求 的 。 


图 10-10 网 络 误差 曲线 
网 络 训 练 结 果 为 


TRAINGDX, Epoch 0Q/1000, MSE 0.28117/0.001, Gradient 0.082897/1e-006 
TRAINGDX, Epoch 2$/1000, MSE 0.278678/0.001, Gradient 0.0830836/1e-006 
TRAINGDX, Epoch 50/1000, MSE 0.270858/0.001, Gradient 0.082787/1e-006 
TRAINGDX, Epoch 75/1000, MSE 0.246485/0.001, Gradient 0.0731321/1e-006 
TRAINGDX, Epoch 100/1000, MSE 0.201249/0.001, Gradient 0.0454135/1e-006 
TRAINGDX, Epoch 12S/1000, MSE 0.127164/0.001, Gradient 0.0455586/1e-006 
TRAINGDX, Epoch 1S0/1000, MSE 0.0361097/0.001, Gradient 0.0142122/1e-006 
TRAINGDX, Epoch 175$/1000, MSE 0.0125535/0.001, Gradient 0.00572951/1e-006 
TRAINGDX, Epoch 200/1000, MSE 0.00937949/0.001, Gradient 0.0020679/le-006 
TRAINGDX, Epoch 22S/1000, MSE 0.00223234/0.001, Gradient 0.00983431/le-006 
TRAINGDX, Epoch 244/1000, MSE 0.000978229/0.001, Gradient 0.00205187/1e-006 
TRAINGDX, Performance goal met， 


网 络 经 过 244 次 训练 后 ， 目 标 误 差 达 到 要 求 ， 缚 果 如 图 10-11 所 示 。 
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244 Epochs 
图 10-11 吉 练 结 琳 


10.3 ”模糊 神经 网 络 在 配送 中 心 选 址 中 的 应 用 


合理 的 物流 配送 中 心 选 址 能 节省 费用 ， 加 快 货 物 的 汽 通 ， 增 加 物流 企业 的 收益 ， 因 此 ， 物 
法 配送 中 心 的 选 址 决策 对 于 整个 物 泊 系 统 的 优化 是 个 二 分 重要 的 问题 。 


10.3.1 ”问题 概述 


长 期 以 来 ， 对 于 物流 配送 中 心 选 址 ， 人 们 提供 了 一 种 新 的 决策 方法 ， 如 模糊 综合 评判 法 、 
AHP 层次 分 析 法 及 结合 层次 法 的 模糊 排序 方法 等 。 但 这 些 方法 也 有 一 些 缺 点 ， 利 用 模糊 综合 评 
判 法 ， 其 指标 权重 难以 确定 ， 用 专家 打分 法 确定 权重 ， 人 为 因素 又 过 重 ， 利 用 层次 分 析 法 确定 
权重 可 以 弱化 人 为 因素 ， 但 是 层次 分 析 法 要 求 指标 的 层次 结构 系统 中 的 要 素 互 相 独 立 ， 否 则 就 
不 能 应 用 这 种 方法 ， 而 这 些 指标 之 间 往 往 存在 依赖 关系 ， 如 地 价 和 运输 条 件 、 政 府 政策 和 经 营 
坏 境 等 。 

模糊 综合 评价 作为 一 种 多 属性 的 综合 评价 方法 ， 其 隶属 函数 权重 有 -一定 主观 性 ， 因 此 它 的 
应 用 就 有 局 限 性 。 而 BP 算法 则 可 以 较 客 观 地 评价 不 同 的 方案 , 将 模糊 方法 应 用 到 BP 算法 的 输 
入 值 中 。 综 合 两 种 算法 的 优势 ， 通 过 网 络 学 习 得 到 选 址 的 优化 度 ， 进 而 得 到 对 于 选 址 方案 的 一 
个 较为 准确 的 评价 。 


10.3.2 ”设计 


物流 配送 中 心 的 选 址 通 向 是 在 一 定 的 原则 如 降低 成 本 思 则 、 经 鹿 效 站 刀 则 、 损 客 忆 服务 
水 平原 则 等 的 指导 之 下 ， 预 先 选 择 一 些 方案 ， 然 后 册 通 过 各 种 方法 对 这 些 方 守 进 行 比较 ， 地 终 
从 中 选 出 满意 的 一 个 或 几 个 方案 作为 新 的 中 心地 址 。 影 响 配 送 中 心 饮 址 的 因 紊 很多， 可 以 朴 提 
物流 学 的 原理 ， 结 合 自 身 的 实际 情况 ， 选 择 其 中 较 重 要 的 一 些 因 素 作 为 决 沉 指标 。 这 上 绎 因 么 大 
臻 可 分 为 自然 环境 、 交 通 运输 条 件 、 经 营 环境 、 候 选 地 条 件 及 公共 设施 几 大 类 。 指 标 选 择 的 好 
坏 对 正确 决策 相当 重要 。 选 址 主要 考虑 几 个 因素 : 客户 的 分 布 、 优 应 商 的 分 布 、 区 通 和 条件、 用 
地 条 件 、 目 然 地 理 条 件 和 环 壕 条 件 等 。 

采用 模糊 方法 计算 影响 因素 的 隶属 度 作 为 神经 网 络 的 输入 ， 和 在 中 个 影响 因 系 中 ， 有 定量 
因素 也 有 定性 因素 ， 对 不 同 的 因素 要 用 不 同 的 方法 来 确定 隶属 度 。 对 定量 因素 可 以 有 用 币 匈 模 
顶 分 布 来 确定 隶属 函数 ， 例 如 ， 模 糊 约 束 集合 运输 距离 最 小 符合 的 模糊 分 布 - 降 半 棉 形 分 布 。 
对 于 定性 因素 而 言 ， 首 先 要 用 专家 咨询 法 、 专 家 评分 法 等 方法 进行 量化 ， 册 利用 相关 的 隶属 圭 
数 确 定 隶 属 度 。 这 里 考虑 的 定量 因素 有 : 候选 地 地 价 、 运 输 忠 离 和 候选 地 面积 。 其 中 运输 距离 
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的 隶属 度 通过 上 文 介绍 的 方法 确定 ， 而 另 两 种 定量 指标 中 ， 候 选 地 地 价 与 运输 距离 的 隶属 函数 
相同 ， 模 糊 约束 集合 候选 地 面积 适中 符合 模糊 分 布 - 正 态 分 布 ， 对 应 的 隶属 函数 为 


U( 癌 =erkoro (tc>0) 


而 定性 因素 有 : 客户 分 布 、 供 应 商 分 布 、 地 质 和 条件、 通信 条 件 、 道 路 设施 。 定 性 因素 首先 
对 不 同 的 情况 做 出 分 类 摘 述 ， 再 将 目 然 语言 的 评价 分 类 转换 为 相应 的 隶属 度 ， 如 表 10-3 所 示 。 


表 10-3 ”定性 指标 的 隶属 函数 


指 标 分 类 描述 模糊 约束 集 隶 属 皮 
















答 户 分 布 集中 、 - 般 、 分 散 洛 娘 分 布 集 中 Al Al1={1 0.5, 0] 
供应 测 分 在 供应 商 分 布 集中 A2 A2={1.0.5, 0] 
通信 条 侍 : 很 好 、 好 、 : 般 、 状 、 很 差 通信 条 件 民 好 A3 A3={11,0.8, 0.5, 0.2. 0| 





地 质 条 件 很 好 、 好 、 一 般 、 差 、 很 关 

将 指标 隶属 度 和 输入 到 网 络 中 , 将 专家 值 作 为 网 络 的 期 望 输出 。 表 10-4 所 示 为 经 过 量化 和 模 
烦 处 理 并 求 出 隶属 度 的 实验 训练 数据 。 表 10-5 所 示 为 经 过 初步 筛选 后 的 实验 数据 及 其 方案 的 评 
价 结果 和 排序 。 


A4=1{11,0.8. 0.5, 0.2 0} 


表 10-4 ”实验 训练 数据 


供应 候选 
地 质 条 件 | 客户 分 布 | 候选 地 地 价 | 通信 条 件 人 
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表 10-5 经 病 选 后 的 实验 数据 及 方案 的 评价 结果 和 排序 


方 肥 地 质 客户 候选 地 会 应 商 候选 地 
厅 与 条 件 分 布 置 积 


已 全 
王 
-~ 
二 
已 习 
一 

可 
~ 
本 
~ 
kw 

| 加 
< 
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| 
~ 
_n 
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本 EC 
本 2 本 EEC 
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根据 模 炎 规则 ， 可 得 到 了 网络 的 训练 样本 已 和 了 。 完 整 的 MATLAB 代码 如 下 。 


P=[1.00 1.00 1.00 1.00 1.00 1.00 1.00 1.00; 

0.80 0.87 0.89 0.82 0.78 0.80 0.7S 0.33; 

0.67 ”0.93 0.22 0.74 1.00 0.80 0.49 0.606; 

0.92 “0.80 0.89 0.92 0.89 0.80 1.00 1.00: 

0.87/ 0.93 1.00 1.00 1.00 1.00 1.00 1.00; 

U.80 0.12 0.89 0.82 0.89 0.80 0.73 1.00; 

0.07 ”0.72 0.67 0.66 0.67 0.60 0.49 0.66; 

0.72 ”0.80 0.78 0.75 0.78 0.80 0.75 0.66: 

0.60 ”0.60 0.56 0.58 0.56 0.60 0.49 0.66; 

0.47 “0.47 0.44 0.41 0.44 0.40 0.49 0.35]: 
T_l .00 0.79 0.74 0.81 .0.96 0.83 0.69 0.7S 0.58 0.51]: 
% 根 据 Kolmogoroy 定理 ， 由 于 输入 层 有 .8 个 节点 ， 所 以 中 间 导 有 17 个 闻 局 
多 中 间 层 神经 元 的 传递 函数 为 tansig 
多 输出 层 有 工 个 若 氮 ， 其 神经 元 传递 函数 为 IJogsig 
% 训 练 函数 采 用 kainlm 

net=newftmninmax(P),[17,.1],{ftansig ,logslg } ,trainlm 7) 
“多 训练 步 数 为 1000 次 
色 训 练 目 标 误差 为 0.001 
net.trainParam.epochs=1000; 
net.tralnParam.gogl=0.001 ; 
net=train(net,P, IT); 
Y=Slim(net, 了 ); 


网 络 的 训练 结果 为 
TRAINLM, Epoch 0/1000, MSE 0.05559/0.001, Gradient 1.4427/1e-010 


TRAINLM Performance 是 maet， 
网 络 经 过 3 次 训练 后 ， 旧 标 误差 达到 要 求 ， 结 划 如 图 10-12 所 未。 


;Performance is 0.000339403，Goal is 0.001 
10 


Is 


二 二 
已 


一 人 
已 
上 
二 
一 人 
+ 


TralmndBlue 与 反 |-Black 


3 Epochs 
图 10-12 ”训练 结果 


预 出 过 程 代 公 为 


P_test=f[0.40 ”0.40 0.33 0.335 0.33 0.40 0.49 0.395; 
0.08 “0.93 0.5$6 0.92 0.89 0.00 0.24 0.33; 
U.67 0.00 0.89 0.82 1.00 0.80 0.75 0.29; 
0.32 “0.40 0.07 0.33 0.33 0.80 0.75 0.35; 
0.87/ 0.72 0.89 0.92 0.89 0.40 0.49 0.29] ; 
Y=SlIm(netbP_test) 
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得 出 纪 为 
Y= 
0U.4641 U.1850 0.3076 U.3007 0.060614 
从 以 上 计算 结果 可 以 看 出 ， 方 案 13 最 优 ， 方 案 15 最 兰 ， 这 也 与 各 方案 的 指标 因 系 特 氮 基 
本 一 致 ， 根 据 此 结果 可 进行 配送 中 心 磷 址 的 决 深 。 


10.4 “ElIman 神经 网 络 在 信号 检测 中 的 应 用 


【 例 10-2】 利 用 Elman 网 络 对 信号 幅 虚 进 行 检 测 。 

| ) 问题 掏 述 

待 检测 的 信号 是 幅度 变化 的 正 弦 信号， 可 以 通过 如 下 的 语句 生成 。 

Pi=sim(l1:20); 

P2=Simn(1:20) *2， 

P=[PIl P2>P 忆 1] P2 |， 
该 信号 由 幅度 分 别 为 1 和 2 的 正弦 信号 交替 变化 构成 ， 图 10-13 中 所 绘 的 虚线 即 是 竺 娠 的 正 线 
言 号 。 本 例 中 要 利用 Elman 网 络 对 信和 号 的 幅度 进行 检测 ， 希 望 网 络 能 够 正确 地 输出 时 变 信 号 的 
幅度 值 ， 因 此 网 络 的 目标 输出 为 

工 =ones(1.20); 

T2=ones(]1.20) *#2: 

T=[TIT2 TILIT2]; 
日 标 输出 曲线 如 图 10-13 中 所 绘 的 短 画 线 。 网 络 的 输入 和 目标 输出 应 采用 串 行 序列 格 陈 。 


Pseq=con2seq( 上 上 ); 
Tseq=con2seq(T); 


Testing Ampltute Detection 





0 20 本 机 60 的 
图 10-13 Elman 网 络 的 信号 幅度 检测 性 能 
2 ) 网 络 设计 
建立 两 层 神经 元 构成 的 Elman 网 络 ， 网 络 的 隐 层 和 输出 层 分别 含 有 10 个 和 1 个 但 经 元 ， 
传递 函数 分 别 为 tansig 函数 和 纯 线 性 函数 ， 网 络 训练 函数 为 traingdx 虽 效 。 
net=newelm([-2 2],[10 1],ftanslg ,purelin ,traingdx ) 
3) 网 络 训练 
设置 好 网 络 的 训练 参数 后 ， 了 怠 可 以 对 网 络 进 行 训练 了。 


net.trainParam.epochs=1000; 
net.trainParam.show=2U; 





| 
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net.trainPararm.goal= 一 0.01: 
net.performEFcn= sse ; 
[net,tr]=train(net,Pseq,Tsegq); 


训练 结 和 床 如 图 10-14 所 示 。 


Perffrmance 1s 2.04488，Coal 要 0.01 
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Traltnng-Blue Goal-BIack 


2 400 6b00 3850UU “1000 


有 
1000 Epochs 
图 10-14” 训 毋 结果 


网 络 训 练 结 末 为 


TRAINGDX, Epoch 0O/1000, SSE 260.984/0.01, Gradient 984.285/1e-006 
TRAINGDX, Epoch 20/1000, SSE 23.7826/0.01, Gradient 17.9028/1e-000 


TRAINGDA, Epoch 1000/1000, SSE 2.04488/0.01, Oradient 0.573174/]1e-006 
TRAINGDx, Maxtimum epoch reached, pertormance goal was not met. 
4 ) 对 网 络 进行 测试 
利用 样本 输入 数据 对 训练 好 的 网 络 进 行 测 试 。 
A=Sslm(net,Pseq); 
并 绘 册 样本 输入 、 且 标 输出 和 网 络 仿真 输出 则 线 。 
tme=l:iength(P): 
plot(ttme, 了 P,: ,bme, 工 , -- :tmaecat(2 ,AT 人 77 
titie( Testtng Amplitute Detectlon ) 
测试 结果 如 图 10-13 所 泵 ， 图 中 的 虚线 、 短 男 线 和 实 线 分 别 表示 网 络 输入 的 测试 信号 曲线 、 
站 标 输 时 曲线 和 网 络 仿真 输出 曲线 。 从 图 10-13 中 可 以 看 出 网 络 对 样本 信和 与 有 较 好 的 检测 性 能 。 
5) 对 网 络 推广 性 的 测试 
利用 - -组 新 的 输入 数据 对 训练 好 的 网 络 进 行 测试 。 音 先 产 生 输 入 信和 所 和 目标 和 输出。 
P3=sIn(1:20) 六 2.0: 
工 3=ones(1.20) *2.0;: 
P4=simn(1:20) 1.2: 
T4=ones(1.20) *1.2; 
Pg=[P3 P4 P3 P4]; 
Tsg=[I3 T4 1I3 工 4]: 
Pgseq=con2seq(Pg ); 
然后 利用 这 一 输入 信号 对 网 络 进 行 仿真 。 
A=SlmCnet,Psgseq); 
并 绘 出 测试 信号 、 目 标 输出 和 网 络 仿真 输出 曲线 。 


下 gure; 
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time=1:length(Pg); 

plot(tme,Pg, : ,ttme,Tg,-- :tmecat(2 AT); 

titie( Testitng CeneTallization ) 

网 络 推广 性 能 删 试 结果 如 图 10-1S 所 示 ， 图 中 的 虚线 、 短 国 线 和 实 线 分 别 表 示 网 络 和 输入 的 
机 试 信号 曲线 、 目 标 输出 曲线 和 网 络 仿真 得 出 曲线 。 从 图 10-1S 可 以 看 出 网 络 对 这 一 测 旋 信和 与 
的 检 出 性 能 虽然 不 及 样本 信号 ， 但 依然 可 以 较 成 功 地 实现 幅度 检测 。 


Testing 与 enerailz 不 ion 


站 Nm 一 





狗 10-15 Blman 网 络 的 推 | 性 能 测试 结 林 
6 ) 给 出 本 例 完整 的 MATLAB 代码 


多 产生 样本 数据 P 和 目标 输出 江 

P1=sin(1:20): 

P2=sSim(1:20) *2， 

TI1=ones(1.20): 

T 工 2=ones(1.20) *2; 

% 将 上 述 两 组 数据 合并 得 到 网 络 的 输入 和 目标 和 输出 
P=[PL1 P2 P1 P2]; 

T 工 =[I1 TI2TL1TI2]; 

Pseq=con2seq(); 

工 Seq=con2segq(]); 

狗 建 立 Elman 网 络 ， 网 络 由 两 层 神 经 元 构成 

% 两 层 分 别 有 10 个 和 1 个 神经 元 ， 传 递 函 数 分 别 为 tansig 函数 和 纯 线 性 了 数 
钨 训练 函数 为 kaingdx 函数 

net=newelm([-2 2],[10 1j,ftanslg, purelin } ,traingdx ) 
狗 对 网 络 进行 练 

net.traimParam.epochs=1000; 
net.tralnParam.show=20， 

net.trainParam.goal=0.01 ; 

net.pertormEFEcn= sse :; 

[nettrj=traln(net,Pseq,Tseq); 

% 利 用 样本 数据 对 网 络 进行 仿真 

A=Sslim(net,Pseq); 

tme=l:jengthGb); 

% 画 出 样本 数据 的 网 络 仿真 竹 出 图 形 
plot(ttime,P, : ,tme, 工 ,-- :ttme:cat(2 ,和 本 

title( Testing Amplitute Detection ) 

%% 利 用 一 组 新 的 数据 对 网 络 进行 答 测 
P3=sin(1:20)*2.0， 
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工 3=oneSC1 20)*2. 0; 
P4=sin(1:20)*1.2; 
T4=ones(1,.20)*1.2; 
和 产生 测试 数据 

了 g=[P3 P4 P3P4]; 
Tg=[T3 T4 T3 T4]; 
Pgseq=con2seq(Pg); 四 
多 利用 测试 数据 对 网 络 进行 仿真 
A=simnet， Pgseq); 
% 面 出 测试 数据 的 网 络 仿真 输出 图 形 
figure; 
tme=1: length(Pa， 
plot(time:Pg， ,time:TS,-- :timecat(2 Af 3; 
title(Testing Generalization7 . 


10.5 ”神经 网 络 在 噪声 抵 冰 系 统 中 的 应 用 


10.5.1 ” 目 适 应 噪声 抵消 原理 


噪声 消除 是 信号 处 理 的 核心 问题 之 -， 通 常 实现 最 优 滤波 的 滤波 器 为 维 纳 滤波 器 与 卡尔 曼 
小 站 苍 。 它 们 均 要 求 已 知 信 和 号 和 了 咯 声 的 先 验 知识 ， 但 在 许多 实际 应 用 中 往往 无 法 预先 得 知 ， 为 
此 友 展 了 上 自 适 应 滤波 器 。1965 年 美国 斯 坦 福 大 学 建成 了 第 一 个 目 适 应 噪声 抵消 CANC) 系统 。 
随 独 计算 机 技术 与 集成 电路 技术 的 进步 ， 新 的 目 适 应 算法 不 断 涌现 出 来 ， 目 适应 噪声 抵消 在 理 
论 和 应 用 上 都 得 到 了 很 大 发 展 。 目 适应 噪声 抵消 技术 是 一 种 能 够 很 好 地 消除 背景 噪声 影响 的 信 
寻 处 理 拉 术 。 应 用 日 适应 噪声 抵消 技术 ， 可 在 未 知 外 界 干 扰 源 特征 、 传 递 途径 不 断 变化 ， 以 及 
背 早 噪声 和 被 测 对 象 声 波 相似 的 情况 下 ， 有 效 地 消除 外 界 声 源 的 和 干扰， 获得 高 信 噪 比 的 对 象 信 
号 。 这 一 技术 可 为 机 械 元 件 的 噪声 、 振 动 等 动态 信号 在 测试 环境 不 太 理 想 的 工作 现场 做 测试 分 
st 提供 有 效 的 方法 和 依据 ， 上 共有- - 定 的 理论 意义 和 应 用 价值 。 

， 自 适 应 滤波 器 

vv 自从 20 世纪 60 年 代 出 现 后 , 其 理论 在 不 断 发 展 与 完善 , 应 用 也 越 来 越 三 泛 。 
目 适应 数学 滤波 器 的 原理 如 图 10-16 所 示 。 几 中 ，X 记 : 表示 了 时 刻 的 输入 信和 号 值 ， 从 六 : 
表示 了 时 刻 的 输出 信和 号 值 ，4&(7) : 表示 /时刻 的 参考 信号 值 或 期 望 响 应 的 信号 值 ，e(J) : 误 
着 信号 ，e(J)=4L(J) 一 已 。 

日 适应 数学 滤波 器 的 滤波 参数 受 误 差 信 号 e(J) 的 控制 ， 根 据 e(J) 的 值 而 自动 调整 ， 以 便 
使 输出 YX + 有 接近 于 所 期 望 的 参考 信号 d(CJ + 。 
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图 10-16 ”上 自 庆 应 数字 滤 溉 撮 忆 理 
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2. 自 适 应 噪声 抵消 系统 基本 原理 

自 适 应 噪声 抵消 系统 除了 需要 原始 输入 外 ， 还 需要 一 个 参考 输入 ， 供 给 与 原始 输入 相关 的 
噪声 ， 以 便 抵 消 原 始 输入 中 的 噪声 ， 而 其 中 的 有 用 信号 几乎 不 产生 什么 畸变 。 

图 10-17 描述 的 是 一 典型 的 自 适应 噪声 抵消 系统 ,其 中 原始 输入 信号 4 是 有 用 信和 号 8) 
与 噪声 z( 所 之 和 ， 参 考 和 输入 信号 XK) 是 与 zx 相关 的 噪声 c() 。 假 设 s(K) 、Z(0) 与 CU) 是 
零 均 值 的 平稳 随机 过 程 , 8S(K) 与 z(K) 、c(G) 不 相关 。 由 图 10-17 可 见 , 自 适应 滤波 器 的 输出 z (K) 
为 c() 的 滤波 信号 ， 因 此 ， 自 适应 噪声 抵消 系统 的 输出 共 K) 为 

y( 拉 三 SC) 二 ZU) 一 ZK 


而 
六 (人 =3 (6 二 [z(E) 一 xz 人 人] 十 2s()[zCE) 一 z(1] 


df(K) 三 SR 十 Z(K) T 
X(K) 三 CE) E 

图 10-17 “” 自 适应 噪声 抵消 系统 

根据 前 面 不 相关 的 假定 ， 对 上 式 两 边 取 数 尝 期 于 ， 可 得 






V(K) 





E[y (人 ]=E[s (+E[z(E) 一 z (CC 


朝 号 功率 E[s2z(6] 与 自 适 应 滤波 器 的 调节 无 关 ， 因 此 ， 自 适应 滤波 器 调节 使 ELy (6)] 最 小 ， 
也 就 是 E[z(6-z ( 主 最 小 ，E[Cy(6-s(6) 和 也 最 小 ， 即 自 适 应 噪声 抵消 系统 的 输出 信和 己 
y(K) 与 有 用 信号 So 的 均 方 差 最 小 。 

在 理想 情况 下 ，z ( 拉 = zk ， 则 yp =SGK) ， 这 时 ， 自 适应 滤波 器 目 动 调 节 其 脉冲 啊 应 ， 
将 c(K) 加 工 成 z(K) ， 与 原始 输入 信号 dk) 中 的 xz) 相 减 ， 使 输出 信号 XA) 由 于 品 声 完全 航 
抵消 而 等 于 有 用 信和 号 SA) 。 

可 以 证 明 ,， 自 适应 滤波 器 能 完成 上 述 任务 的 必要 条 件 为 : 参考 输入 信号 Xp) = CU 必须 与 
被 抵消 的 信号 〈 现 为 噪声 ) z(48) 相关 。 

一 个 实际 的 噪声 抵消 系统 的 情况 比如 图 10-17 所 示 的 还 要 复杂 一 些 ， 这 是 因为 输入 的 还 可 
能 是 一 些 独 立 的 噪声 源 ， 即 与 参考 输入 无 关 的 噪声 及 干扰 ， 如 图 10-18 所 示 。 


FF 天) 
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图 10-18 ”常见 的 自 适 应 噪声 抵消 系统 
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10.$5.2” 嗓 声 抵 消 系统 的 MATLAB 仿真 


1.，BP 网 络 模型 建立 
根据 分 析 结 论 ， 这 里 构造 一 个 1-4-1 型 BP 神经 网 络 ， 隐 含 层 节点 有 4 个， 如 图 10-19 所 示 。 





图 10-19 BP 神经 网 络 模型 
本 网 络 中 的 隐 含 层 变 换 函 数 为 tansig， 是 可 微 函 数 ， 它 可 以 将 神经 元 的 输入 范围 (一 ce, 十 co) 
os (-1+1)， 非 党 通 合 于 训练 BP 网 络 的 神经 元 。 如 果 BP 网 络 的 最 后 一 层 是 Sigmoid 型 神 
公元， 那么 整个 网 络 的 竹 出 豆 会 限制 在 一 个 较 小 的 范围 肉 : 如 系 是 purelin 型 线性 神经 元 ， 则 整 
ren 
2. 基于 神经 网 络 工具 箱 的 BP 网 络 学 习 和 训练 
神经 网 络 工 其 箱 为 训练 蚀 经 网 络 提 供 了 帮助 ， 可 以 利用 它 提 供 的 函数 对 网 络 进 行 初始 化 、 
仿真 和 训练 ， 并 通过 变化 的 图 形 观察 其 动态 训练 过 程 。 
如 图 10-20 所 示 ， 给 出 了 BP 神经 网 络 的 训练 过 程 。 





图 10-20  BP 各 经 网 络 训练 过 和 
以 下 是 MATLAB 的 实现 代码 。 
卿 定义 样 本 
了 =(U:0.0U1 10U， 
Y=frandn(size( 工 )): 
Yn=sin(Y); 
P=Y(1:30) 
T=Yn(l:3O) 
狗 初 始 化 BP 网 络 
% 其 中 ，P 为 输入 量 ， 隐 层 节点 数 为 4， 输出 层 节点 数 为 1 | 


%tansig 和 puretin 分 别 为 隐 层 和 输出 层 的 变换 函数 ， 


有 
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训练 算法 为 trainlm 
net=newftninmax(P),[4,1ijftansig, purelin ,trainim ); 
%BP 网 络 训练 
% 利 用 BP 学 习 规 则 训练 前 向 网 络 ， 使 其 完成 函数 逼近 、 和 芯 量 分 类 和 模式 识别 ， 选 择 训练 参数 ， 
ee 
一 旦 训练 达到 最 大 的 训练 次 数 或 网 络 误差 平方 和 降低 到 误差 之 下 ， 都 会 使 网 络 停 止 学 习 
ye 
net.trainParam.show=10: 
9% 指 定 训练 的 最 大 次 数 
net.traintParam.epochs=1000; 
和 误差 平方 和 指标 
net.tratnParam.goal=0.001; 
% 指 定 学 习 速 率 ， 即 权 值 和 靖 什 更 新 的 比例 
net.trainParam.lr=0.01: 

多 开始 训 纤 

[nettrj=train(mnet,P,T); 

多 画 出 误 状 变化 曲线 

figure(1); 

piotperf(tr); 

% 计 算 网 络 仿真 输出 

A=slm(net, 了 ); 

figure(2): 

plot([0:0.1:2.9], 工 b+- ,[0:0.1:2.9],A,T+*# ); 

在 这 段 程序 中 ，BP 网 络 训练 时 ， 函 数 利 用 单 层 权 信 矢量 下 、 装 值 天 量 召 及 转移 闵 数 成 批 
训练 网 络 ， 使 当 输 入 下 时 ， 网 络 的 竹 出 为 日 标 天 量 了 。 在 这 个 环 志 将 得 到 新 的 权 值 天 量 厂 和 加 
值 天 量 召 ， 以 及 记录 网 络 训 练 过 程 的 诈 大 平方 和 行 了 加 量 tr。 

误 兰 训练 结果 为 

TRAINLM, Epoch 0/1000, MSE 4.63723/0.001, Gradlent 1]17.172/1e-010 

TRAINLM, Epoch 3/1000, MSE 3.87303e-003/0.001, Gradient 0.0401399/1e-010 

TRAINLM, Performance goal met. 


误 兽 全 化 曲线 如 网 10-21 所 示 ， 上 数 明 近 曲线 如 图 10-22 所 示 。 
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图 10-21 ”误差 变化 曲线 
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0 0.5 1 ls 之 2.5 了 
图 10-22 ”图 数 逼 近 曲 线 
根据 误 专 曲线 的 变化 ， 可 以 看 到 经 过 600 多 次 训练 之 后 ， 误 差 最 终 逼 近 于 0.01。 从 函数 通 
近 曲 线 可 看 出 和 输出 曲线 非常 青 近 于 目标 曲线 ， 证 明 训练 后 的 网 络 具 有 较 好 的 拟 合 性 ， 本 环节 训 
练 了 网 络 并 得 到 了 构 霹 BP 网 络 的 基本 要 素 一 - 权 值 和 浆 值 。 


ie 
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